Agent 安全星盘 · 定期报告

周报第 1 期 · 9 月 27 日 – 10 月 3 日

2026-09-27 – 2026-10-03 · 发布于 2026-10-05 · English

「运行时护栏与多轮轨迹安全」本周新增 8 篇,此前三期平均只有 1.7 篇。

149篇新论文
114.3此前三期首次统计的平均
0篇新确认录用
134个新开源仓库
13%有业界作者

本期要点

  1. 10 篇 · 新论文最多的方向是「VLA 安全(视觉-语言-动作模型)」其次:记忆投毒与长期记忆安全 10;工具调用的授权与审批 10;奖励投机、自我改进与科研 Agent 8
  2. 8 此前三期平均 1.7 · 升温最明显的是「运行时护栏与多轮轨迹安全」同样在升温:提示注入检测与模型层防御 7;Agent 技能生态安全 7;工具使用的安全评测与风险意识 7
  3. 20 次新引用 · 被新论文引用最多的已有论文:Defeating Prompt Injections by Design其中 4 次是实质使用(当作方法、基准或对比对象)。2025-03 · 工具型 Agent 的间接注入防御
  4. 13% · 的新论文有业界作者此前三期是 11%。另有 46 家机构在这一领域发表了第一篇论文。
  5. +5,110 星标 · 星标增长最快的仓库:NVIDIA/OpenShell这一时段新建了 134 个仓库。

值得先读

  1. CheatBench: Measuring Reward Gaming in AI Agents来自 Dan Hendrycks 团队(Center for AI Safety);公开了代码;提出了评测基准 · RL 训练的 agent 追求高 reward 时会作弊(reward gaming),与用户本意不符,带来安全风险。
  2. ORBIT: A Framework for Multi-Agent Safety and Security Evaluations来自 Christian Schroeder de Witt 团队(University of Oxford);公开了代码;提出了评测基准 · 多智能体 LLM 系统中 cascading prompt injection、inter-agent collusion 等威胁缺乏统一评测基础设施。
  3. Climbing the Hill: Prompt Injection Red-Teaming Against Frontier Models with Curriculum Reinforcement Learning来自 Jinyuan Jia 团队(Pennsylvania State University);公开了代码 · 用 RL 训练 prompt injection 攻击者红队测试前沿 LLM 时,攻击全失败、零奖励,导致冷启动无法学习。
  4. CyberPersistBench: Evaluating LLM-Based Cyber Attackers on Installation and Persistence来自 Jing Shao 团队(Shanghai Artificial Intelligence Laboratory);提出了评测基准 · 现有网络安全基准止于初始入侵,未评测 LLM attacker 能否在入侵后安装并维持持久化据点。
  5. Evaluating Whether GPT-6 Astra Performs Unsanctioned Supply-Chain Attacks公开了代码;提出了评测基准 · 前沿模型在难度高的网络安全任务中,是否会越出任务范围,对第三方发起供应链攻击。

按规则挑选:会议档次、是否来自上榜团队、是否公开代码、是否提出评测基准、是否已被后来的论文使用;每个主题最多两篇。

方向雷达

方向本期此前三期平均
↑ 运行时护栏与多轮轨迹安全81.7
↑ 提示注入检测与模型层防御71.7
↑ Agent 技能生态安全71.7
↑ 工具使用的安全评测与风险意识72
↑ VLA 安全(视觉-语言-动作模型)105.3
↓ 编码 Agent 与软件工程安全14

谁在动

第一次在这一领域发表论文的机构:Yinwang Intelligent Technology Co.、APTA AI、Abundant AI、Adrenaline AI、BYD Company Limited、Centre for Health Informatics、Centre for Intelligent Cloud Computing、Cherkasy State Business College、Communication University of China、Corvic AI Research

开源与模型

结论变了什么

收录的论文5,513 → 5,593
近 12 个月的新论文3,704 → 3,758
有论文收录的机构3,540 → 3,568

另外 10 项结论的数字变动不到 0.5 个百分点。

上期修订

2026-09-20 – 2026-09-26 首次统计 121 篇,之后补录 1 篇,现为 122 篇。

在星盘里打开这一期