Agent 安全星盘 · 定期报告

周报第 4 期 · 10 月 18 – 24 日

2026-10-18 – 2026-10-24 · 发布于 2026-11-06 · English

主题「对齐、监督、自主权与规范」本周新增 16 篇,此前三期平均是 4.7 篇。

141篇新论文
101.7此前三期首次统计的平均
0篇新确认录用
58个新开源仓库
11%有业界作者

本期要点

  1. 10 篇 · 新论文最多的方向是「Agent 过程评测与执行审计」其次:工具调用的授权与审批 8;提示注入检测与模型层防御 7;编码 Agent 与软件工程安全 6
  2. 5 此前三期平均 1.0 · 升温最明显的是「人机自主、治理与信任框架」同样在升温:思维链监控与隐写 5;AI 控制与蓄意破坏评估 4;智能体社会与合作行为 5
  3. 5 次新引用 · 被新论文引用最多的已有论文:Representation Engineering: A Top-Down Approach to AI Transparency其中 3 次是实质使用(当作方法、基准或对比对象)。2023-10 · 欺骗、谋划与故意藏拙
  4. 11% · 的新论文有业界作者此前三期是 14%。另有 66 家机构在这一领域发表了第一篇论文。
  5. +4,546 星标 · 星标增长最快的仓库:affaan-m/ECC这一时段新建了 58 个仓库。

值得先读

  1. AutoRedClaw: Automated Red-Teaming for Claw-Style Agents来自 Chaowei Xiao 团队(Johns Hopkins University);公开了代码;提出了评测基准 · claw-style agent 的配置文件、长期记忆和 skills 被投毒后会跨任务跨会话持续生效,人工测试难以覆盖。
  2. Towards Robust Model Organisms for Eliciting Latent Knowledge来自 Mary Phuong 团队(California Institute of Technology);公开了代码;提出了评测基准 · 知识多于监督者的 misaligned 模型可能隐瞒发现(sandbag),需可信的 ELK 实验对象来研究如何提取。
  3. Act on Your Behalf, Beyond Your Authorization: Benchmarking LLM Agent Authorization Alignment来自 Tianshi Li 团队(Northeastern University);公开了代码;提出了评测基准 · LLM agent 代用户行动时可能越出用户授权范围,现有评测只看任务完成或危害,易漏掉此类越权。
  4. Humans Correct Their Judgments Through Debate, but Weaker AI Models Do NotNeurIPS 2026 · Main conference(ML 三大) · 超人类 AI 的可扩展监督中,debate 能否让带先验偏见的人类或弱模型裁判判断正确。
  5. After the Attacker Leaves: Benchmarking Carryover Attacks on LLM AgentsEMNLP 2026 · Main conference(A 类会议或期刊);提出了评测基准 · 一次性 indirect prompt injection 写入 agent 持久状态后,能否在攻击者离开后跨 session 反复触发。

按规则挑选:会议档次、是否来自上榜团队、是否公开代码、是否提出评测基准、是否已被后来的论文使用;每个主题最多两篇。

方向雷达

方向本期此前三期平均
↑ 人机自主、治理与信任框架51
↑ 思维链监控与隐写51
↑ AI 控制与蓄意破坏评估40.7
↑ 智能体社会与合作行为52
↑ 编码 Agent 与软件工程安全63
↓ 运行时护栏与多轮轨迹安全04.3
↓ 奖励投机、自我改进与科研 Agent13.3
↓ Agent 技能生态安全24

谁在动

第一次在这一领域发表论文的机构:Kahlert School of Computing、Uploading Inc.、3MI Labs、AI Standards Lab、Arya.ai、Bashi AI London、Beijing Jishuitan Hospital、California Polytechnic State University、Cambridge Research Laboratory、Chief Product Officer

开源与模型

结论变了什么

收录的论文5,781 → 6,318
近 12 个月的新论文3,868 → 4,314
研究数字智能体的论文占比72.8% → 73.6%
有论文收录的机构3,646 → 3,889
开源仓库7,792 → 7,889
用语言模型的论文中至少用一个开放权重模型的占比75.3% → 76.4%

另外 7 项结论的数字变动不到 0.5 个百分点。

上期修订

2026-10-11 – 2026-10-17 首次统计 105 篇,之后补录 52 篇,现为 157 篇。

在星盘里打开这一期