Agent 安全星盘 · 定期报告
周报第 1 期 · 9 月 27 日 – 10 月 3 日
2026-09-27 – 2026-10-03 · 发布于 2026-10-05 · English
「运行时护栏与多轮轨迹安全」本周新增 8 篇,此前三期平均只有 1.7 篇。
149篇新论文
114.3此前三期首次统计的平均
0篇新确认录用
134个新开源仓库
13%有业界作者
本期要点
- 10 篇 · 新论文最多的方向是「VLA 安全(视觉-语言-动作模型)」其次:记忆投毒与长期记忆安全 10;工具调用的授权与审批 10;奖励投机、自我改进与科研 Agent 8
- 8 此前三期平均 1.7 · 升温最明显的是「运行时护栏与多轮轨迹安全」同样在升温:提示注入检测与模型层防御 7;Agent 技能生态安全 7;工具使用的安全评测与风险意识 7
- 20 次新引用 · 被新论文引用最多的已有论文:Defeating Prompt Injections by Design其中 4 次是实质使用(当作方法、基准或对比对象)。2025-03 · 工具型 Agent 的间接注入防御
- 13% · 的新论文有业界作者此前三期是 11%。另有 46 家机构在这一领域发表了第一篇论文。
- +5,110 星标 · 星标增长最快的仓库:NVIDIA/OpenShell这一时段新建了 134 个仓库。
值得先读
- CheatBench: Measuring Reward Gaming in AI Agents来自 Dan Hendrycks 团队(Center for AI Safety);公开了代码;提出了评测基准 · RL 训练的 agent 追求高 reward 时会作弊(reward gaming),与用户本意不符,带来安全风险。
- ORBIT: A Framework for Multi-Agent Safety and Security Evaluations来自 Christian Schroeder de Witt 团队(University of Oxford);公开了代码;提出了评测基准 · 多智能体 LLM 系统中 cascading prompt injection、inter-agent collusion 等威胁缺乏统一评测基础设施。
- Climbing the Hill: Prompt Injection Red-Teaming Against Frontier Models with Curriculum Reinforcement Learning来自 Jinyuan Jia 团队(Pennsylvania State University);公开了代码 · 用 RL 训练 prompt injection 攻击者红队测试前沿 LLM 时,攻击全失败、零奖励,导致冷启动无法学习。
- CyberPersistBench: Evaluating LLM-Based Cyber Attackers on Installation and Persistence来自 Jing Shao 团队(Shanghai Artificial Intelligence Laboratory);提出了评测基准 · 现有网络安全基准止于初始入侵,未评测 LLM attacker 能否在入侵后安装并维持持久化据点。
- Evaluating Whether GPT-6 Astra Performs Unsanctioned Supply-Chain Attacks公开了代码;提出了评测基准 · 前沿模型在难度高的网络安全任务中,是否会越出任务范围,对第三方发起供应链攻击。
按规则挑选:会议档次、是否来自上榜团队、是否公开代码、是否提出评测基准、是否已被后来的论文使用;每个主题最多两篇。
方向雷达
| 方向 | 本期 | 此前三期平均 |
|---|---|---|
| ↑ 运行时护栏与多轮轨迹安全 | 8 | 1.7 |
| ↑ 提示注入检测与模型层防御 | 7 | 1.7 |
| ↑ Agent 技能生态安全 | 7 | 1.7 |
| ↑ 工具使用的安全评测与风险意识 | 7 | 2 |
| ↑ VLA 安全(视觉-语言-动作模型) | 10 | 5.3 |
| ↓ 编码 Agent 与软件工程安全 | 1 | 4 |
谁在动
第一次在这一领域发表论文的机构:Yinwang Intelligent Technology Co.、APTA AI、Abundant AI、Adrenaline AI、BYD Company Limited、Centre for Health Informatics、Centre for Intelligent Cloud Computing、Cherkasy State Business College、Communication University of China、Corvic AI Research
开源与模型
- NVIDIA/OpenShell +5,110 星标,现有 13,893
- affaan-m/ECC +3,880 星标,现有 270,597
- google/ax +2,640 星标,现有 12,777
结论变了什么
| 收录的论文 | 5,513 → 5,593 |
| 近 12 个月的新论文 | 3,704 → 3,758 |
| 有论文收录的机构 | 3,540 → 3,568 |
另外 10 项结论的数字变动不到 0.5 个百分点。
上期修订
2026-09-20 – 2026-09-26 首次统计 121 篇,之后补录 1 篇,现为 122 篇。
在星盘里打开这一期