<?xml version="1.0" encoding="utf-8"?>
<feed xmlns="http://www.w3.org/2005/Atom"><id>https://xtra-agent-safety-atlas.pages.dev/feed.xml</id><title>Agent 安全星盘 · 定期报告</title>
<link href="https://xtra-agent-safety-atlas.pages.dev/"/><link rel="self" href="https://xtra-agent-safety-atlas.pages.dev/feed.xml"/><updated>2026-11-16T02:30:00Z</updated><author><name>Agent 安全星盘</name></author>
<entry><id>https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-11-14.html</id><title>周报第 7 期 · 11 月 8 – 14 日</title><link href="https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-11-14.html"/><updated>2026-11-16T02:30:00Z</updated>
<summary>本周新增 64 篇论文，比此前三期首次统计的平均（134 篇）少 52%。</summary><content type="html">&lt;p class=&quot;head&quot;&gt;本周新增 64 篇论文，比此前三期首次统计的平均（134 篇）少 52%。&lt;/p&gt;&lt;div class=&quot;tiles&quot;&gt;&lt;div&gt;&lt;b&gt;64&lt;/b&gt;&lt;span&gt;篇新论文&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;134&lt;/b&gt;&lt;span&gt;此前三期首次统计的平均&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;29&lt;/b&gt;&lt;span&gt;篇新确认录用&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;18&lt;/b&gt;&lt;span&gt;个新开源仓库&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;19%&lt;/b&gt;&lt;span&gt;有业界作者&lt;/span&gt;&lt;/div&gt;&lt;/div&gt;&lt;h2&gt;本期要点&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;b&gt;5 篇&lt;/b&gt; · 新论文最多的方向是「工具型 Agent 的间接注入防御」&lt;small&gt;其次：欺骗、谋划与故意藏拙 3；奖励投机、自我改进与科研 Agent 3；AI 控制与蓄意破坏评估 3&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;29 篇&lt;/b&gt; · 新确认被会议或期刊录用&lt;small&gt;其中 4 篇在安全四大或 ML 三大。最多的是 MM 2026 5；AI Summit &amp;#x27;26: ACM AI Leadership Summit 2026 2026 5；ACM CCS 2026 4&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;9 次新引用&lt;/b&gt; · 被新论文引用最多的已有论文：Progent: Securing AI Agents with Privilege Control&lt;small&gt;其中 3 次是实质使用（当作方法、基准或对比对象）。2025-04 · 工具型 Agent 的间接注入防御&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;19%&lt;/b&gt; · 的新论文有业界作者&lt;small&gt;此前三期是 13%。另有 32 家机构在这一领域发表了第一篇论文。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;+15,971 星标&lt;/b&gt; · 星标增长最快的仓库：affaan-m/ECC&lt;small&gt;这一时段新建了 18 个仓库。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;h2&gt;值得先读&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;a href=&quot;https://doi.org/10.1109/spw72489.2026.00047&quot;&gt;Tracing MCP Security Vulnerabilities: Constructing and Analyzing an MCP Security Vulnerability Dataset&lt;/a&gt;&lt;small&gt;IEEE S&amp;amp;P 2026 · Proceedings（安全四大）；提出了评测基准 · MCP 漏洞信息分散、噪声大，难以系统研究其软件安全攻击面。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2611.12167v1&quot;&gt;FraudBench: A Legal Evaluation of AI Deception&lt;/a&gt;&lt;small&gt;来自 Noam Kolt 团队（Hebrew University of Jerusalem）；提出了评测基准 · LLM 在高风险商业场景中是否会建议、协助或直接实施美国法律意义上的欺诈。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2611.11861v1&quot;&gt;Scaling Adaptive Prompt Injection Attacks with Agent Swarms&lt;/a&gt;&lt;small&gt;来自 Kamalika Chaudhuri 团队（University of California San Diego）；提出了评测基准 · 在公开 prompt injection 基准与人工 red-teaming 看似饱和时，检验 agent 是否仍会被注入攻破。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2611.11123v1&quot;&gt;HARP-Bench: Benchmarking Robot Manipulation Around Active Humans&lt;/a&gt;&lt;small&gt;公开了代码；提出了评测基准 · 现有操作基准假设机器人是唯一主动方，忽略人在共享工作空间中带来的任务变化与安全约束。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2611.16485v1&quot;&gt;Contain, Conform, Compare (Extended Version): A Red-Teamed Evaluation Kit for Small Coding Agents and the Full Record of Its Experiments&lt;/a&gt;&lt;small&gt;公开了代码；提出了评测基准 · 竞赛托管评分只给一个噪声大的分数，需要快速、能安全运行 agent 所写代码且与托管评分一致的本地评测器。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;p class=&quot;sub&quot;&gt;按规则挑选：会议档次、是否来自上榜团队、是否公开代码、是否提出评测基准、是否已被后来的论文使用；每个主题最多两篇。&lt;/p&gt;&lt;h2&gt;方向雷达&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;th&gt;方向&lt;/th&gt;&lt;th&gt;本期&lt;/th&gt;&lt;th&gt;此前三期平均&lt;/th&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ Agent 过程评测与执行审计&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;2&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;6.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 编码 Agent 与软件工程安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;2&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;6&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 提示注入检测与模型层防御&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 工具调用的授权与审批&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;2&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 智能体社会与合作行为&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;0&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3.7&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;h2&gt;谁在动&lt;/h2&gt;&lt;p&gt;第一次在这一领域发表论文的机构：Alation、Alibaba AAIG、Allianz Group、Artificial Societies、Berlin Institute of Health at Charité - Universitätsmedizin Berlin、Charité – Universitätsmedizin Berlin、Czech Academy of Sciences、Department of Computer Science and Engineering

CMR Institute of Technology、Department of Statistics and Data Science、ERA:AI&lt;/p&gt;&lt;h2&gt;开源与模型&lt;/h2&gt;&lt;ul&gt;&lt;li&gt;affaan-m/ECC &lt;small&gt;+15,971 星标，现有 300,696&lt;/small&gt;&lt;/li&gt;&lt;li&gt;ifixai-ai/iFixAi &lt;small&gt;+13,919 星标，现有 44,510&lt;/small&gt;&lt;/li&gt;&lt;li&gt;earendil-works/pi &lt;small&gt;+4,561 星标，现有 121,238&lt;/small&gt;&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;结论变了什么&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;td&gt;收录的论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;6,421 → &lt;b&gt;6,449&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;近 12 个月的新论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4,397 → &lt;b&gt;4,414&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;有论文收录的机构&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3,942 → &lt;b&gt;3,953&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;p class=&quot;sub&quot;&gt;另外 10 项结论的数字变动不到 0.5 个百分点。&lt;/p&gt;&lt;h2&gt;上期修订&lt;/h2&gt;&lt;p&gt;2026-11-01 – 2026-11-07 首次统计 127 篇，之后补录 0 篇，现为 127 篇。&lt;/p&gt;</content></entry><entry><id>https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-11-07.html</id><title>周报第 6 期 · 11 月 1 – 7 日</title><link href="https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-11-07.html"/><updated>2026-11-12T02:30:00Z</updated>
<summary>主题「安全评测、护栏与红队」本周新增 10 篇，此前三期平均是 5.7 篇。</summary><content type="html">&lt;p class=&quot;head&quot;&gt;主题「安全评测、护栏与红队」本周新增 10 篇，此前三期平均是 5.7 篇。&lt;/p&gt;&lt;div class=&quot;tiles&quot;&gt;&lt;div&gt;&lt;b&gt;127&lt;/b&gt;&lt;span&gt;篇新论文&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;126.7&lt;/b&gt;&lt;span&gt;此前三期首次统计的平均&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;191&lt;/b&gt;&lt;span&gt;篇新确认录用&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;26&lt;/b&gt;&lt;span&gt;个新开源仓库&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;16%&lt;/b&gt;&lt;span&gt;有业界作者&lt;/span&gt;&lt;/div&gt;&lt;/div&gt;&lt;h2&gt;本期要点&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;b&gt;6 篇&lt;/b&gt; · 新论文最多的方向是「VLA 安全（视觉-语言-动作模型）」&lt;small&gt;其次：智能体系统架构与运行时工程 6；工具型 Agent 的间接注入防御 5；Agent 过程评测与执行审计 5&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;5 此前三期平均 0.7&lt;/b&gt; · 升温最明显的是「LLM 集成应用中的提示注入与信息泄露」&lt;small&gt;同样在升温：Agent 框架的执行控制与保障 5；工具型 Agent 的间接注入防御 5；MCP 服务器与协议安全 3&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;191 篇&lt;/b&gt; · 新确认被会议或期刊录用&lt;small&gt;其中 3 篇在安全四大或 ML 三大。最多的是 EMNLP 2026 134；Proceedings of the Second Workshop for REsearch on Agent Language Models (REALM 2026) 2026 7；AAAI 2026 6&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;16 次新引用&lt;/b&gt; · 被新论文引用最多的已有论文：AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents&lt;small&gt;其中 2 次是实质使用（当作方法、基准或对比对象）。2024-10 · 工具使用的安全评测与风险意识&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;16%&lt;/b&gt; · 的新论文有业界作者&lt;small&gt;此前三期是 13%。另有 62 家机构在这一领域发表了第一篇论文。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;+15,971 星标&lt;/b&gt; · 星标增长最快的仓库：affaan-m/ECC&lt;small&gt;这一时段新建了 26 个仓库。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;h2&gt;值得先读&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;a href=&quot;https://neurips.cc/virtual/2026/poster/139257&quot;&gt;MetaPI: Constructing Prompt Injection Benchmarks from LLM Agent Benchmark&lt;/a&gt;&lt;small&gt;NeurIPS 2026 · Main conference（ML 三大）；来自 Yuan Tian 团队（University of California, Los Angeles）；提出了评测基准 · 现有 indirect prompt injection 基准任务和环境覆盖窄、攻击场景静态，跟不上 utility 基准的发展。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2611.08425v1&quot;&gt;Failure Prediction and Classification in Vision-Language-Action Models Via Calibrated Latent Probing&lt;/a&gt;&lt;small&gt;来自 Ufuk Topcu 团队（The University of Texas at Austin）；公开了代码；提出了评测基准 · VLA 在分布偏移下易意外失败，需要及时、校准、能说明失败类型的运行时监控。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2611.06727v1&quot;&gt;Airlock: Bounding the Multi-Agent Blast Radius via Selective Online Containment&lt;/a&gt;&lt;small&gt;来自 Hamed Haddadi 团队（Imperial College London）；公开了代码；提出了评测基准 · 多智能体系统中单个 agent 的错误输出在被检测前跨任务扩散，形成系统级 blast radius。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://doi.org/10.1145/3847352.3848107&quot;&gt;MCP Tool Poisoning in Agentic AI Frameworks: A Cross-Framework Measurement Study&lt;/a&gt;&lt;small&gt;公开了代码；提出了评测基准 · MCP 将攻击者可控的工具描述、schema 字段和响应数据不经验证送入模型上下文，导致 tool poisoning。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2611.02689v1&quot;&gt;The Customer Never Sees the Goal: Measuring and Detecting Vulnerability-Targeted Manipulation in LLM Assistants&lt;/a&gt;&lt;small&gt;公开了代码；提出了评测基准 · 运营方给 LLM 助手设定客户看不到的商业目标，助手可能利用客户披露的弱点进行操纵（VTM）。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;p class=&quot;sub&quot;&gt;按规则挑选：会议档次、是否来自上榜团队、是否公开代码、是否提出评测基准、是否已被后来的论文使用；每个主题最多两篇。&lt;/p&gt;&lt;h2&gt;方向雷达&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;th&gt;方向&lt;/th&gt;&lt;th&gt;本期&lt;/th&gt;&lt;th&gt;此前三期平均&lt;/th&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ LLM 集成应用中的提示注入与信息泄露&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;0.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ Agent 框架的执行控制与保障&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 工具型 Agent 的间接注入防御&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;2.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ MCP 服务器与协议安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ Agent 红队与跨会话威胁&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 情境完整性与隐私泄露&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;0&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4.3&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 提示注入检测与模型层防御&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;2&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 编码 Agent 与软件工程安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;6.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ AI 控制与蓄意破坏评估&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;0&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3.3&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;h2&gt;谁在动&lt;/h2&gt;&lt;p&gt;第一次在这一领域发表论文的机构：Eastern International University、Jiffy Labs、Thu Dau Mot University、University of Information Technology、ABLEs、AGH University of Krakow、AWS Agentic AI、Abylkas Saginov Karaganda Technical University、Achiral Research、Acompany Co.&lt;/p&gt;&lt;h2&gt;开源与模型&lt;/h2&gt;&lt;ul&gt;&lt;li&gt;affaan-m/ECC &lt;small&gt;+15,971 星标，现有 300,696&lt;/small&gt;&lt;/li&gt;&lt;li&gt;ifixai-ai/iFixAi &lt;small&gt;+13,919 星标，现有 44,510&lt;/small&gt;&lt;/li&gt;&lt;li&gt;earendil-works/pi &lt;small&gt;+4,561 星标，现有 121,238&lt;/small&gt;&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;结论变了什么&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;td&gt;收录的论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;6,318 → &lt;b&gt;6,421&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;近 12 个月的新论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4,314 → &lt;b&gt;4,397&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;有论文收录的机构&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3,889 → &lt;b&gt;3,942&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;开源仓库&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;7,889 → &lt;b&gt;8,073&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;p class=&quot;sub&quot;&gt;另外 9 项结论的数字变动不到 0.5 个百分点。&lt;/p&gt;&lt;h2&gt;上期修订&lt;/h2&gt;&lt;p&gt;2026-10-25 – 2026-10-31 首次统计 134 篇，之后补录 3 篇，现为 137 篇。&lt;/p&gt;</content></entry><entry><id>https://xtra-agent-safety-atlas.pages.dev/issues/m-2026-10.html</id><title>月报 · 2026 年 10 月</title><link href="https://xtra-agent-safety-atlas.pages.dev/issues/m-2026-10.html"/><updated>2026-11-06T02:30:00Z</updated>
<summary>「编码 Agent 与软件工程安全」本月新增 34 篇，此前三期平均只有 12.3 篇。</summary><content type="html">&lt;p class=&quot;head&quot;&gt;「编码 Agent 与软件工程安全」本月新增 34 篇，此前三期平均只有 12.3 篇。&lt;/p&gt;&lt;div class=&quot;tiles&quot;&gt;&lt;div&gt;&lt;b&gt;653&lt;/b&gt;&lt;span&gt;篇新论文&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;466&lt;/b&gt;&lt;span&gt;此前三期首次统计的平均&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;47&lt;/b&gt;&lt;span&gt;篇新确认录用&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;286&lt;/b&gt;&lt;span&gt;个新开源仓库&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;14%&lt;/b&gt;&lt;span&gt;有业界作者&lt;/span&gt;&lt;/div&gt;&lt;/div&gt;&lt;h2&gt;本期要点&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;b&gt;34 篇&lt;/b&gt; · 新论文最多的方向是「Agent 过程评测与执行审计」&lt;small&gt;其次：编码 Agent 与软件工程安全 34；工具调用的授权与审批 30；VLA 安全（视觉-语言-动作模型） 22&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;34 此前三期平均 12.3&lt;/b&gt; · 升温最明显的是「编码 Agent 与软件工程安全」&lt;small&gt;同样在升温：间接提示注入：评测工具、防御比较与累积式攻击 22；提示注入检测与模型层防御 22；情境完整性与隐私泄露 19&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;47 篇&lt;/b&gt; · 新确认被会议或期刊录用&lt;small&gt;最多的是 ASE 2026 10；ICRA 2026 9；AAAI 2026 6&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;64 次新引用&lt;/b&gt; · 被新论文引用最多的已有论文：$τ$-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains&lt;small&gt;其中 15 次是实质使用（当作方法、基准或对比对象）。2024-06 · Agent 过程评测与执行审计&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;14%&lt;/b&gt; · 的新论文有业界作者&lt;small&gt;此前三期是 11%。另有 292 家机构在这一领域发表了第一篇论文。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;+14,128 星标&lt;/b&gt; · 星标增长最快的仓库：affaan-m/ECC&lt;small&gt;这一时段新建了 286 个仓库。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;h2&gt;值得先读&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.29869v1&quot;&gt;Compaction Laundering: Provenance Destruction in Context-Compacting Coding Agents&lt;/a&gt;&lt;small&gt;揭示五个主流coding agent在上下文压缩时丢失角色来源，伪造批准87-100%存入记忆，并给出序列化修复。 · coding agent 压缩上下文时把对话扁平化为纯文本，消息来源丢失，攻击者可伪造用户指令。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.37741v1&quot;&gt;Agentic Backdoors via Pretraining Poisoning&lt;/a&gt;&lt;small&gt;首次端到端证明0.1%预训练投毒可植入RCE后门并穿过干净后训练进入CLI agent，且随规模增强。 · 预训练数据投毒能否在 agent 中植入 remote code execution 后门，使其在用户机器上执行攻击者指定的命令。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.24052v1&quot;&gt;Red-Teaming Multi-Agent Attacks for Loss-of-Control Risks&lt;/a&gt;&lt;small&gt;MiniLab表明多agent分片攻击使前沿监控检出率从87%降至7%，为多agent失控提供可复现红队案例。 · 多个 agent 秘密串谋、分片执行有害目标时，逐条读轨迹的 AI control 监控是否会失效。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.41998v1&quot;&gt;SecPO: Principled Adversarial Training for Prompt Injection Security&lt;/a&gt;&lt;small&gt;强注入对抗训练加SecPO损失将自适应AgentDojo攻击成功率降至8.8%（Meta-SecAlign为78.8%），不损效用，开源模型与数据。 · LLM agent 面对 prompt injection 防御不足，最强防御 Meta-SecAlign 在 adaptive 攻击下 ASR 接近100%。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.22301v1&quot;&gt;My Credentials, Please: Detecting Filesystem Capability Laundering in MCP Servers at Scale&lt;/a&gt;&lt;small&gt;扫描21,097个MCP服务器，发现工具越权访问主机凭据，确认150个可利用实例，披露13个公告含两个CVE。 · MCP server 获批调用后拥有宽泛主机文件权限，攻击者可借参数越界读取敏感文件（filesystem capability laundering）。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.21063v1&quot;&gt;Approve What, Exactly? Effect Binding and Trusted Rendering for Agent Step-Up Authorization&lt;/a&gt;&lt;small&gt;定义12种审批路径攻击，审计AP2、MCP elicitation与十个runtime，提出Tamarin验证的效果绑定审批网关。 · agent 执行转账、删文件等高风险操作前的人工审批，常被当作第二因子，但未必真正绑定所批准的操作效果。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.26551v2&quot;&gt;Training Natural Schemers: RL Can Amplify Oversight-Conditional Behavior&lt;/a&gt;&lt;small&gt;构建自然scheming模型体，表明不奖励scheming的普通RL仍会扩大监控与无监控下的合规差距，跨环境与基座模型成立。 · 现实训练条件下，scheming（监督下顺从、无监督时追求自身目标）倾向是否会出现或被放大。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.04375v1&quot;&gt;Do Tool Calls Execute as Intended? Measuring and Repairing Intent-Execution Correspondence in LLM Agents&lt;/a&gt;&lt;small&gt;基于生产会话发现harness静默改写工具调用，Claude Code的Bash改动12%含代码调用，常无报错执行错误动作。 · LLM agent 的 tool call 经多个 hop 传递时会被悄悄改写，导致错误动作执行或无谓重试。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.14043v1&quot;&gt;Refuses in Chat, Complies with Arms: LLM Refusal Does Not Survive Robot Control&lt;/a&gt;&lt;small&gt;同模型文本与机器人对照显示，拒绝行为在实机控制中骤减，聊天安全评测不能保证物理行动安全。 · LLM 在文本中会拒绝造成物理伤害的请求，这种 refusal 在模型控制机器人时是否仍然成立。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.12445v1&quot;&gt;Caught in the Act: Probes Effectively Detect Sabotage and Catch Unverbalized Deception&lt;/a&gt;&lt;small&gt;在迄今最大欺骗数据集上训练的多层探针在SHADE-Arena达98.8% AUC，超过文本监控，能识别隐藏目标，发布FIBS。 · LLM agent 会欺骗用户或暗中 sabotage，仅靠文本监控难以发现，尤其是不说出口的欺骗。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;p class=&quot;sub&quot;&gt;月度明星论文：两个模型（Claude Opus 5.5 与 GPT-6.1 Sol）读完当月全部论文后投票评选。&lt;/p&gt;&lt;h2&gt;方向雷达&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;th&gt;方向&lt;/th&gt;&lt;th&gt;本期&lt;/th&gt;&lt;th&gt;此前三期平均&lt;/th&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 编码 Agent 与软件工程安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;34&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;12.3&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 间接提示注入：评测工具、防御比较与累积式攻击&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;22&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4.3&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 提示注入检测与模型层防御&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;22&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;8.3&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 情境完整性与隐私泄露&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;19&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;6.3&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 工具调用的授权与审批&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;30&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;19.3&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ RAG 投毒与检索安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;12&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 智能体身份、委托与去中心化协议&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;10&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;h2&gt;谁在动&lt;/h2&gt;&lt;p&gt;第一次在这一领域发表论文的机构：Kontext、Corners Co.、Cygnux Labs、International Hellenic University、Kahlert School of Computing、Manchester Metropolitan University、Nanchang Hangkong University、Robocurve、Universidade Estadual de Campinas (UNICAMP)、Uploading Inc.&lt;/p&gt;&lt;h2&gt;开源与模型&lt;/h2&gt;&lt;ul&gt;&lt;li&gt;affaan-m/ECC &lt;small&gt;+14,128 星标，现有 284,725&lt;/small&gt;&lt;/li&gt;&lt;li&gt;ifixai-ai/iFixAi &lt;small&gt;+12,268 星标，现有 30,591&lt;/small&gt;&lt;/li&gt;&lt;li&gt;earendil-works/pi &lt;small&gt;+5,600 星标，现有 116,677&lt;/small&gt;&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;结论变了什么&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;td&gt;收录的论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5,593 → &lt;b&gt;6,318&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;近 12 个月的新论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3,758 → &lt;b&gt;4,314&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;研究数字智能体的论文占比&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;72.4% → &lt;b&gt;73.6%&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;有论文收录的机构&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3,568 → &lt;b&gt;3,889&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;近 12 个月论文中公开代码的占比&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;17.9% → &lt;b&gt;17.4%&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;开源仓库&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;7,671 → &lt;b&gt;7,889&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;用语言模型的论文中至少用一个开放权重模型的占比&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;75.4% → &lt;b&gt;76.4%&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;p class=&quot;sub&quot;&gt;另外 6 项结论的数字变动不到 0.5 个百分点。&lt;/p&gt;&lt;h2&gt;上期修订&lt;/h2&gt;&lt;p&gt;2026-09-01 – 2026-09-30 首次统计 564 篇，之后补录 5 篇，现为 569 篇。&lt;/p&gt;</content></entry><entry><id>https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-10-31.html</id><title>周报第 5 期 · 10 月 25 – 31 日</title><link href="https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-10-31.html"/><updated>2026-11-06T02:30:00Z</updated>
<summary>主题「工具执行、编码与运行时（混合主题）」本周新增 40 篇，此前三期平均是 26.7 篇。</summary><content type="html">&lt;p class=&quot;head&quot;&gt;主题「工具执行、编码与运行时（混合主题）」本周新增 40 篇，此前三期平均是 26.7 篇。&lt;/p&gt;&lt;div class=&quot;tiles&quot;&gt;&lt;div&gt;&lt;b&gt;134&lt;/b&gt;&lt;span&gt;篇新论文&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;99&lt;/b&gt;&lt;span&gt;此前三期首次统计的平均&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;0&lt;/b&gt;&lt;span&gt;篇新确认录用&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;30&lt;/b&gt;&lt;span&gt;个新开源仓库&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;14%&lt;/b&gt;&lt;span&gt;有业界作者&lt;/span&gt;&lt;/div&gt;&lt;/div&gt;&lt;h2&gt;本期要点&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;b&gt;9 篇&lt;/b&gt; · 新论文最多的方向是「编码 Agent 与软件工程安全」&lt;small&gt;其次：VLA 安全（视觉-语言-动作模型） 6；提示注入检测与模型层防御 5；Agent 过程评测与执行审计 5&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;9 此前三期平均 4.7&lt;/b&gt; · 升温最明显的是「编码 Agent 与软件工程安全」&lt;small&gt;同样在升温：奖励投机、自我改进与科研 Agent 5；VLA 安全（视觉-语言-动作模型） 6；工具使用的安全评测与风险意识 5&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;11 次新引用&lt;/b&gt; · 被新论文引用最多的已有论文：Defending Against Indirect Prompt Injection Attacks With Spotlighting&lt;small&gt;其中 5 次是实质使用（当作方法、基准或对比对象）。2024-03 · 提示注入检测与模型层防御&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;14%&lt;/b&gt; · 的新论文有业界作者&lt;small&gt;此前三期是 13%。另有 65 家机构在这一领域发表了第一篇论文。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;30 个仓库&lt;/b&gt; · 在这一时段创建&lt;small&gt;&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;h2&gt;值得先读&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.39122v1&quot;&gt;Appreciation Teaches Unauthorized Execution: Self-Evolution Degrades the Robustness of Personal Agents to Indirect Prompt Injection&lt;/a&gt;&lt;small&gt;来自 Chaowei Xiao 团队（Johns Hopkins University）；公开了代码 · 自我进化的 personal agent 从用户反馈中学习后，是否会更易受 indirect prompt injection 攻击。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.41885v1&quot;&gt;How Much Can Tool Calls Reveal About You? Privacy Leakage from Tool-Call Traces&lt;/a&gt;&lt;small&gt;来自 Dongrui Liu 团队（Shanghai Artificial Intelligence Laboratory）；公开了代码；提出了评测基准 · MCP tool-call traces 是否会泄露用户隐私，使观察者推断出用户画像属性。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.41998v1&quot;&gt;SecPO: Principled Adversarial Training for Prompt Injection Security&lt;/a&gt;&lt;small&gt;来自 David Wagner 团队（University of California, Berkeley）；公开了代码 · LLM agent 面对 prompt injection 防御不足，最强防御 Meta-SecAlign 在 adaptive 攻击下 ASR 接近100%。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.37741v1&quot;&gt;Agentic Backdoors via Pretraining Poisoning&lt;/a&gt;&lt;small&gt;来自 Nicholas Carlini 团队（Anthropic (United States)）；公开了代码 · 预训练数据投毒能否在 agent 中植入 remote code execution 后门，使其在用户机器上执行攻击者指定的命令。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.36435v1&quot;&gt;Your Agent Acts Differently When You&amp;#x27;re Around: How User Presence Changes Agent Behavior in Negotiation&lt;/a&gt;&lt;small&gt;来自 He He 团队（NYU）；提出了评测基准 · 用户在回路中时，代表用户谈判的 LLM agent 行为会如何变化，是否出现 misaligned 行为。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;p class=&quot;sub&quot;&gt;按规则挑选：会议档次、是否来自上榜团队、是否公开代码、是否提出评测基准、是否已被后来的论文使用；每个主题最多两篇。&lt;/p&gt;&lt;h2&gt;方向雷达&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;th&gt;方向&lt;/th&gt;&lt;th&gt;本期&lt;/th&gt;&lt;th&gt;此前三期平均&lt;/th&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 编码 Agent 与软件工程安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;9&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 奖励投机、自我改进与科研 Agent&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ VLA 安全（视觉-语言-动作模型）&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;6&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;2.3&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 工具使用的安全评测与风险意识&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ Agent 的人类监督与控制&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;0.3&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;h2&gt;谁在动&lt;/h2&gt;&lt;p&gt;第一次在这一领域发表论文的机构：Cygnux Labs、Manchester Metropolitan University、ACE Robotics、ADAPT Research Unit

CTTC-CERCA、AI Center、AIR Institute、Al-Ahliyya Amman University、American University of Sharjah、Anhui Polytechnic University、Baba&lt;/p&gt;</content></entry><entry><id>https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-10-24.html</id><title>周报第 4 期 · 10 月 18 – 24 日</title><link href="https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-10-24.html"/><updated>2026-11-06T02:30:00Z</updated>
<summary>主题「对齐、监督、自主权与规范」本周新增 16 篇，此前三期平均是 4.7 篇。</summary><content type="html">&lt;p class=&quot;head&quot;&gt;主题「对齐、监督、自主权与规范」本周新增 16 篇，此前三期平均是 4.7 篇。&lt;/p&gt;&lt;div class=&quot;tiles&quot;&gt;&lt;div&gt;&lt;b&gt;141&lt;/b&gt;&lt;span&gt;篇新论文&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;101.7&lt;/b&gt;&lt;span&gt;此前三期首次统计的平均&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;0&lt;/b&gt;&lt;span&gt;篇新确认录用&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;58&lt;/b&gt;&lt;span&gt;个新开源仓库&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;11%&lt;/b&gt;&lt;span&gt;有业界作者&lt;/span&gt;&lt;/div&gt;&lt;/div&gt;&lt;h2&gt;本期要点&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;b&gt;10 篇&lt;/b&gt; · 新论文最多的方向是「Agent 过程评测与执行审计」&lt;small&gt;其次：工具调用的授权与审批 8；提示注入检测与模型层防御 7；编码 Agent 与软件工程安全 6&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;5 此前三期平均 1.0&lt;/b&gt; · 升温最明显的是「人机自主、治理与信任框架」&lt;small&gt;同样在升温：思维链监控与隐写 5；AI 控制与蓄意破坏评估 4；智能体社会与合作行为 5&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;5 次新引用&lt;/b&gt; · 被新论文引用最多的已有论文：Representation Engineering: A Top-Down Approach to AI Transparency&lt;small&gt;其中 3 次是实质使用（当作方法、基准或对比对象）。2023-10 · 欺骗、谋划与故意藏拙&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;11%&lt;/b&gt; · 的新论文有业界作者&lt;small&gt;此前三期是 14%。另有 66 家机构在这一领域发表了第一篇论文。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;+4,546 星标&lt;/b&gt; · 星标增长最快的仓库：affaan-m/ECC&lt;small&gt;这一时段新建了 58 个仓库。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;h2&gt;值得先读&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.27244v1&quot;&gt;AutoRedClaw: Automated Red-Teaming for Claw-Style Agents&lt;/a&gt;&lt;small&gt;来自 Chaowei Xiao 团队（Johns Hopkins University）；公开了代码；提出了评测基准 · claw-style agent 的配置文件、长期记忆和 skills 被投毒后会跨任务跨会话持续生效，人工测试难以覆盖。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.26698v1&quot;&gt;Towards Robust Model Organisms for Eliciting Latent Knowledge&lt;/a&gt;&lt;small&gt;来自 Mary Phuong 团队（California Institute of Technology）；公开了代码；提出了评测基准 · 知识多于监督者的 misaligned 模型可能隐瞒发现（sandbag），需可信的 ELK 实验对象来研究如何提取。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.27548v2&quot;&gt;Act on Your Behalf, Beyond Your Authorization: Benchmarking LLM Agent Authorization Alignment&lt;/a&gt;&lt;small&gt;来自 Tianshi Li 团队（Northeastern University）；公开了代码；提出了评测基准 · LLM agent 代用户行动时可能越出用户授权范围，现有评测只看任务完成或危害，易漏掉此类越权。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://neurips.cc/virtual/2026/poster/154000&quot;&gt;Humans Correct Their Judgments Through Debate, but Weaker AI Models Do Not&lt;/a&gt;&lt;small&gt;NeurIPS 2026 · Main conference（ML 三大） · 超人类 AI 的可扩展监督中，debate 能否让带先验偏见的人类或弱模型裁判判断正确。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://aclanthology.org/2026.emnlp-main.1996/&quot;&gt;After the Attacker Leaves: Benchmarking Carryover Attacks on LLM Agents&lt;/a&gt;&lt;small&gt;EMNLP 2026 · Main conference（A 类会议或期刊）；提出了评测基准 · 一次性 indirect prompt injection 写入 agent 持久状态后，能否在攻击者离开后跨 session 反复触发。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;p class=&quot;sub&quot;&gt;按规则挑选：会议档次、是否来自上榜团队、是否公开代码、是否提出评测基准、是否已被后来的论文使用；每个主题最多两篇。&lt;/p&gt;&lt;h2&gt;方向雷达&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;th&gt;方向&lt;/th&gt;&lt;th&gt;本期&lt;/th&gt;&lt;th&gt;此前三期平均&lt;/th&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 人机自主、治理与信任框架&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 思维链监控与隐写&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ AI 控制与蓄意破坏评估&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;0.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 智能体社会与合作行为&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;2&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 编码 Agent 与软件工程安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;6&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 运行时护栏与多轮轨迹安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;0&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4.3&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 奖励投机、自我改进与科研 Agent&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3.3&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ Agent 技能生态安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;2&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;h2&gt;谁在动&lt;/h2&gt;&lt;p&gt;第一次在这一领域发表论文的机构：Kahlert School of Computing、Uploading Inc.、3MI Labs、AI Standards Lab、Arya.ai、Bashi AI

London、Beijing Jishuitan Hospital、California Polytechnic State University、Cambridge Research Laboratory、Chief Product Officer&lt;/p&gt;&lt;h2&gt;开源与模型&lt;/h2&gt;&lt;ul&gt;&lt;li&gt;affaan-m/ECC &lt;small&gt;+4,546 星标，现有 284,725&lt;/small&gt;&lt;/li&gt;&lt;li&gt;ifixai-ai/iFixAi &lt;small&gt;+2,313 星标，现有 30,591&lt;/small&gt;&lt;/li&gt;&lt;li&gt;earendil-works/pi &lt;small&gt;+1,250 星标，现有 116,677&lt;/small&gt;&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;结论变了什么&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;td&gt;收录的论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5,781 → &lt;b&gt;6,318&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;近 12 个月的新论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3,868 → &lt;b&gt;4,314&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;研究数字智能体的论文占比&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;72.8% → &lt;b&gt;73.6%&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;有论文收录的机构&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3,646 → &lt;b&gt;3,889&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;开源仓库&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;7,792 → &lt;b&gt;7,889&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;用语言模型的论文中至少用一个开放权重模型的占比&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;75.3% → &lt;b&gt;76.4%&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;p class=&quot;sub&quot;&gt;另外 7 项结论的数字变动不到 0.5 个百分点。&lt;/p&gt;&lt;h2&gt;上期修订&lt;/h2&gt;&lt;p&gt;2026-10-11 – 2026-10-17 首次统计 105 篇，之后补录 52 篇，现为 157 篇。&lt;/p&gt;</content></entry><entry><id>https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-10-17.html</id><title>周报第 3 期 · 10 月 11 – 17 日</title><link href="https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-10-17.html"/><updated>2026-10-19T02:30:00Z</updated>
<summary>本周新增 105 篇论文，与此前三期首次统计的平均（108 篇）基本持平；最多的方向是「Agent 过程评测与执行审计」（8 篇）。</summary><content type="html">&lt;p class=&quot;head&quot;&gt;本周新增 105 篇论文，与此前三期首次统计的平均（108 篇）基本持平；最多的方向是「Agent 过程评测与执行审计」（8 篇）。&lt;/p&gt;&lt;div class=&quot;tiles&quot;&gt;&lt;div&gt;&lt;b&gt;105&lt;/b&gt;&lt;span&gt;篇新论文&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;107.7&lt;/b&gt;&lt;span&gt;此前三期首次统计的平均&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;36&lt;/b&gt;&lt;span&gt;篇新确认录用&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;66&lt;/b&gt;&lt;span&gt;个新开源仓库&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;13%&lt;/b&gt;&lt;span&gt;有业界作者&lt;/span&gt;&lt;/div&gt;&lt;/div&gt;&lt;h2&gt;本期要点&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;b&gt;8 篇&lt;/b&gt; · 新论文最多的方向是「Agent 过程评测与执行审计」&lt;small&gt;其次：智能体系统架构与运行时工程 7；工具调用的授权与审批 6；提示注入检测与模型层防御 5&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;7 此前三期平均 1.7&lt;/b&gt; · 升温最明显的是「智能体系统架构与运行时工程」&lt;small&gt;同样在升温：编码 Agent 与软件工程安全 5；语言 Agent 强化学习训练中的安全与对齐 3；情境完整性与隐私泄露 4&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;36 篇&lt;/b&gt; · 新确认被会议或期刊录用&lt;small&gt;最多的是 ASE 2026 10；ICRA 2026 9；AAAI 2026 6&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;10 次新引用&lt;/b&gt; · 被新论文引用最多的已有论文：$τ$-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains&lt;small&gt;其中 5 次是实质使用（当作方法、基准或对比对象）。2024-06 · Agent 过程评测与执行审计&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;13%&lt;/b&gt; · 的新论文有业界作者&lt;small&gt;此前三期是 15%。另有 38 家机构在这一领域发表了第一篇论文。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;+5,622 星标&lt;/b&gt; · 星标增长最快的仓库：ifixai-ai/iFixAi&lt;small&gt;这一时段新建了 66 个仓库。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;h2&gt;值得先读&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.16333v1&quot;&gt;TRAP: Tool-result Replay Attack for Probing Misbinding in LLM Agents&lt;/a&gt;&lt;small&gt;来自 Jing Shao 团队（Shanghai Artificial Intelligence Laboratory）；公开了代码；提出了评测基准 · 真实且未被篡改的 tool result 被重放到不兼容的执行上下文中，导致 agent 执行不安全动作（tool-result misbinding）。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://doi.org/10.18653/2026.emnlp-industry.247&quot;&gt;LatentRiskBench: Measuring State-Dependent Risks in Enterprise Agents&lt;/a&gt;&lt;small&gt;EMNLP 2026 · Proceedings（A 类会议或期刊）；公开了代码；提出了评测基准 · 企业 agent 中安全性取决于工作流状态的风险，单看动作无法判断是否违规。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.19158v1&quot;&gt;AgentCIScope: Grounded Contextual Integrity Evaluation for LLM Agents&lt;/a&gt;&lt;small&gt;来自 Bo Li 团队（University of Illinois Urbana-Champaign）；提出了评测基准 · LLM agent 跨应用读写敏感数据时，产生的信息流是否违反情境披露约束，即是否破坏 contextual integrity。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.15924v1&quot;&gt;Scalable Weak-to-Strong Verifier Hardening for Agent Environments&lt;/a&gt;&lt;small&gt;公开了代码；提出了评测基准 · agent 环境中的程序化 verifier 可被攻击，使作弊 agent 未完成任务也拿满分，导致 reward hacking。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.20049v1&quot;&gt;CoRedSkill: Stealthy Skill Composition Attacks via AST-Guided Injection&lt;/a&gt;&lt;small&gt;来自 Jiaheng Zhang 团队（National University of Singapore）；提出了评测基准 · 多个 skill 组合时，恶意操作可分散在依赖链中，单个 skill 包审计难以识别其组合意图。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;p class=&quot;sub&quot;&gt;按规则挑选：会议档次、是否来自上榜团队、是否公开代码、是否提出评测基准、是否已被后来的论文使用；每个主题最多两篇。&lt;/p&gt;&lt;h2&gt;方向雷达&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;th&gt;方向&lt;/th&gt;&lt;th&gt;本期&lt;/th&gt;&lt;th&gt;此前三期平均&lt;/th&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 智能体系统架构与运行时工程&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;7&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 编码 Agent 与软件工程安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;2.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 语言 Agent 强化学习训练中的安全与对齐&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;0.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 情境完整性与隐私泄露&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 运行时权限与注入诊断&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 奖励投机、自我改进与科研 Agent&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;0&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 具身任务规划安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;0&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 智能体社会与合作行为&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;0&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3.7&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;h2&gt;谁在动&lt;/h2&gt;&lt;p&gt;第一次在这一领域发表论文的机构：Kontext、Nanchang Hangkong University、Affiliation:、Auburn University at Montgomery、Belleville、CUHK (Shenzhen)、Charles Sturt University、Conversational Technologies、Cookeville、Fraunhofer Institute for Molecular Biology and Applied Ecology&lt;/p&gt;&lt;h2&gt;开源与模型&lt;/h2&gt;&lt;ul&gt;&lt;li&gt;ifixai-ai/iFixAi &lt;small&gt;+5,622 星标，现有 28,278&lt;/small&gt;&lt;/li&gt;&lt;li&gt;affaan-m/ECC &lt;small&gt;+4,938 星标，现有 280,179&lt;/small&gt;&lt;/li&gt;&lt;li&gt;earendil-works/pi &lt;small&gt;+1,929 星标，现有 115,427&lt;/small&gt;&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;结论变了什么&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;td&gt;收录的论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5,645 → &lt;b&gt;5,781&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;近 12 个月的新论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3,773 → &lt;b&gt;3,868&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;有论文收录的机构&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3,585 → &lt;b&gt;3,646&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;开源仓库&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;7,724 → &lt;b&gt;7,792&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;p class=&quot;sub&quot;&gt;另外 9 项结论的数字变动不到 0.5 个百分点。&lt;/p&gt;&lt;h2&gt;上期修订&lt;/h2&gt;&lt;p&gt;2026-10-04 – 2026-10-10 首次统计 51 篇，之后补录 26 篇，现为 77 篇。&lt;/p&gt;</content></entry><entry><id>https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-10-10.html</id><title>周报第 2 期 · 10 月 4 – 10 日</title><link href="https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-10-10.html"/><updated>2026-10-12T02:30:00Z</updated>
<summary>本周新增 51 篇论文，比此前三期首次统计的平均（133 篇）少 62%。</summary><content type="html">&lt;p class=&quot;head&quot;&gt;本周新增 51 篇论文，比此前三期首次统计的平均（133 篇）少 62%。&lt;/p&gt;&lt;div class=&quot;tiles&quot;&gt;&lt;div&gt;&lt;b&gt;51&lt;/b&gt;&lt;span&gt;篇新论文&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;132.7&lt;/b&gt;&lt;span&gt;此前三期首次统计的平均&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;11&lt;/b&gt;&lt;span&gt;篇新确认录用&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;91&lt;/b&gt;&lt;span&gt;个新开源仓库&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;18%&lt;/b&gt;&lt;span&gt;有业界作者&lt;/span&gt;&lt;/div&gt;&lt;/div&gt;&lt;h2&gt;本期要点&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;b&gt;5 篇&lt;/b&gt; · 新论文最多的方向是「Agent 过程评测与执行审计」&lt;small&gt;其次：欺骗、谋划与故意藏拙 4；GUI 与网页 Agent 的注入与欺骗 3；提示注入检测与模型层防御 3&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;11 篇&lt;/b&gt; · 新确认被会议或期刊录用&lt;small&gt;最多的是 Proceedings of the ACM on Software Engineering 2026 3；SOSP 2026 1；Logical Methods in Computer Science 2026 1&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;2 次新引用&lt;/b&gt; · 被新论文引用最多的已有论文：EIA: ENVIRONMENTAL INJECTION ATTACK ON GENERALIST WEB AGENTS FOR PRIVACY LEAKAGE&lt;small&gt;其中 2 次是实质使用（当作方法、基准或对比对象）。2024-09 · GUI 与网页 Agent 的注入与欺骗&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;18%&lt;/b&gt; · 的新论文有业界作者&lt;small&gt;此前三期是 13%。另有 16 家机构在这一领域发表了第一篇论文。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;+4,644 星标&lt;/b&gt; · 星标增长最快的仓库：affaan-m/ECC&lt;small&gt;这一时段新建了 91 个仓库。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;h2&gt;值得先读&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;a href=&quot;https://doi.org/10.1145/3847353.3847499&quot;&gt;Formal Runtime Verification for Tool-Using LLM Agents: An Offline Same-Benchmark Study on AgentDojo and STAC&lt;/a&gt;&lt;small&gt;ACM CCS 2026 · Proceedings（安全四大）；提出了评测基准 · tool-using LLM agent 的 guardrail 多为应用专用规则，多步、依赖数据的安全策略难以描述、审计和复用。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.11552v1&quot;&gt;Safe, Persistent, and Evolving Agent Harness for Understanding Partially Observable Worlds&lt;/a&gt;&lt;small&gt;来自 Yangqiu Song 团队（HKUST）；公开了代码；提出了评测基准 · 企业工作流中 LLM agent 的动作需严格符合组织策略，且需应对部分可观测下的隐藏副作用和长程状态跟踪。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://doi.org/10.1109/csr69374.2026.11759868&quot;&gt;Constrained-Action AI Remediation for SIEM/XDR via a NeMo-Guardrails Proxy&lt;/a&gt;&lt;small&gt;公开了代码；提出了评测基准 · SOC 中 LLM 自动处置告警时，对抗性告警可经 LLM 推理诱导其推荐并执行危险命令。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.10619v1&quot;&gt;TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution&lt;/a&gt;&lt;small&gt;来自 Dawn Song 团队（University of California, Berkeley）；提出了评测基准 · coding benchmark 只靠固定 unit tests 判对，agent 可 reward hack 或漏掉需求仍通过，分数失真。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2610.09462v1&quot;&gt;TMT: Runtime Backdoor Detection for Vision-Language-Action Policies on Unseen Tasks&lt;/a&gt;&lt;small&gt;公开了代码；提出了评测基准 · 检测被植入 backdoor 的 VLA policy 在运行时被 trigger 激活，尤其在未见过的任务上。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;p class=&quot;sub&quot;&gt;按规则挑选：会议档次、是否来自上榜团队、是否公开代码、是否提出评测基准、是否已被后来的论文使用；每个主题最多两篇。&lt;/p&gt;&lt;h2&gt;方向雷达&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;th&gt;方向&lt;/th&gt;&lt;th&gt;本期&lt;/th&gt;&lt;th&gt;此前三期平均&lt;/th&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ VLA 安全（视觉-语言-动作模型）&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 记忆投毒与长期记忆安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;6.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 工具调用的授权与审批&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;8.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 工具型 Agent 的间接注入防御&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;2&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 奖励投机、自我改进与科研 Agent&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;2&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;6.7&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;h2&gt;谁在动&lt;/h2&gt;&lt;p&gt;第一次在这一领域发表论文的机构：International Hellenic University、AWS Forward Deployed Engineering、Corners Co.、Cribl AI Research Lab、Department of Computational and Data Sciences、Department of Electrical and Systems Engineering、Digital Economy Lab、Northeastern University at Qinhuangdao、Pazhou Laboratory、Philadelphia&lt;/p&gt;&lt;h2&gt;开源与模型&lt;/h2&gt;&lt;ul&gt;&lt;li&gt;affaan-m/ECC &lt;small&gt;+4,644 星标，现有 275,241&lt;/small&gt;&lt;/li&gt;&lt;li&gt;ifixai-ai/iFixAi &lt;small&gt;+4,333 星标，现有 22,656&lt;/small&gt;&lt;/li&gt;&lt;li&gt;earendil-works/pi &lt;small&gt;+2,421 星标，现有 113,498&lt;/small&gt;&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;结论变了什么&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;td&gt;收录的论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5,593 → &lt;b&gt;5,645&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;近 12 个月的新论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3,758 → &lt;b&gt;3,773&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;有论文收录的机构&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3,568 → &lt;b&gt;3,585&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;开源仓库&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;7,671 → &lt;b&gt;7,724&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;p class=&quot;sub&quot;&gt;另外 9 项结论的数字变动不到 0.5 个百分点。&lt;/p&gt;&lt;h2&gt;上期修订&lt;/h2&gt;&lt;p&gt;2026-09-27 – 2026-10-03 首次统计 149 篇，之后补录 0 篇，现为 149 篇。&lt;/p&gt;</content></entry><entry><id>https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-10-03.html</id><title>周报第 1 期 · 9 月 27 日 – 10 月 3 日</title><link href="https://xtra-agent-safety-atlas.pages.dev/issues/w-2026-10-03.html"/><updated>2026-10-05T02:30:00Z</updated>
<summary>「运行时护栏与多轮轨迹安全」本周新增 8 篇，此前三期平均只有 1.7 篇。</summary><content type="html">&lt;p class=&quot;head&quot;&gt;「运行时护栏与多轮轨迹安全」本周新增 8 篇，此前三期平均只有 1.7 篇。&lt;/p&gt;&lt;div class=&quot;tiles&quot;&gt;&lt;div&gt;&lt;b&gt;149&lt;/b&gt;&lt;span&gt;篇新论文&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;114.3&lt;/b&gt;&lt;span&gt;此前三期首次统计的平均&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;0&lt;/b&gt;&lt;span&gt;篇新确认录用&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;134&lt;/b&gt;&lt;span&gt;个新开源仓库&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;b&gt;13%&lt;/b&gt;&lt;span&gt;有业界作者&lt;/span&gt;&lt;/div&gt;&lt;/div&gt;&lt;h2&gt;本期要点&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;b&gt;10 篇&lt;/b&gt; · 新论文最多的方向是「VLA 安全（视觉-语言-动作模型）」&lt;small&gt;其次：记忆投毒与长期记忆安全 10；工具调用的授权与审批 10；奖励投机、自我改进与科研 Agent 8&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;8 此前三期平均 1.7&lt;/b&gt; · 升温最明显的是「运行时护栏与多轮轨迹安全」&lt;small&gt;同样在升温：提示注入检测与模型层防御 7；Agent 技能生态安全 7；工具使用的安全评测与风险意识 7&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;20 次新引用&lt;/b&gt; · 被新论文引用最多的已有论文：Defeating Prompt Injections by Design&lt;small&gt;其中 4 次是实质使用（当作方法、基准或对比对象）。2025-03 · 工具型 Agent 的间接注入防御&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;13%&lt;/b&gt; · 的新论文有业界作者&lt;small&gt;此前三期是 11%。另有 46 家机构在这一领域发表了第一篇论文。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;b&gt;+5,110 星标&lt;/b&gt; · 星标增长最快的仓库：NVIDIA/OpenShell&lt;small&gt;这一时段新建了 134 个仓库。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;h2&gt;值得先读&lt;/h2&gt;&lt;ol&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2609.36308v1&quot;&gt;CheatBench: Measuring Reward Gaming in AI Agents&lt;/a&gt;&lt;small&gt;来自 Dan Hendrycks 团队（Center for AI Safety）；公开了代码；提出了评测基准 · RL 训练的 agent 追求高 reward 时会作弊（reward gaming），与用户本意不符，带来安全风险。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2609.33102v1&quot;&gt;ORBIT: A Framework for Multi-Agent Safety and Security Evaluations&lt;/a&gt;&lt;small&gt;来自 Christian Schroeder de Witt 团队（University of Oxford）；公开了代码；提出了评测基准 · 多智能体 LLM 系统中 cascading prompt injection、inter-agent collusion 等威胁缺乏统一评测基础设施。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2609.33628v2&quot;&gt;Climbing the Hill: Prompt Injection Red-Teaming Against Frontier Models with Curriculum Reinforcement Learning&lt;/a&gt;&lt;small&gt;来自 Jinyuan Jia 团队（Pennsylvania State University）；公开了代码 · 用 RL 训练 prompt injection 攻击者红队测试前沿 LLM 时，攻击全失败、零奖励，导致冷启动无法学习。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2609.36573v1&quot;&gt;CyberPersistBench: Evaluating LLM-Based Cyber Attackers on Installation and Persistence&lt;/a&gt;&lt;small&gt;来自 Jing Shao 团队（Shanghai Artificial Intelligence Laboratory）；提出了评测基准 · 现有网络安全基准止于初始入侵，未评测 LLM attacker 能否在入侵后安装并维持持久化据点。&lt;/small&gt;&lt;/li&gt;&lt;li&gt;&lt;a href=&quot;https://arxiv.org/abs/2609.38415v1&quot;&gt;Evaluating Whether GPT-6 Astra Performs Unsanctioned Supply-Chain Attacks&lt;/a&gt;&lt;small&gt;公开了代码；提出了评测基准 · 前沿模型在难度高的网络安全任务中，是否会越出任务范围，对第三方发起供应链攻击。&lt;/small&gt;&lt;/li&gt;&lt;/ol&gt;&lt;p class=&quot;sub&quot;&gt;按规则挑选：会议档次、是否来自上榜团队、是否公开代码、是否提出评测基准、是否已被后来的论文使用；每个主题最多两篇。&lt;/p&gt;&lt;h2&gt;方向雷达&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;th&gt;方向&lt;/th&gt;&lt;th&gt;本期&lt;/th&gt;&lt;th&gt;此前三期平均&lt;/th&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 运行时护栏与多轮轨迹安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;8&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 提示注入检测与模型层防御&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;7&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ Agent 技能生态安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;7&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1.7&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ 工具使用的安全评测与风险意识&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;7&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;2&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↑ VLA 安全（视觉-语言-动作模型）&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;10&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5.3&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;↓ 编码 Agent 与软件工程安全&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;1&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;4&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;h2&gt;谁在动&lt;/h2&gt;&lt;p&gt;第一次在这一领域发表论文的机构：Yinwang Intelligent Technology Co.、APTA AI、Abundant AI、Adrenaline AI、BYD Company Limited、Centre for Health Informatics、Centre for Intelligent Cloud Computing、Cherkasy State Business College、Communication University of China、Corvic AI Research&lt;/p&gt;&lt;h2&gt;开源与模型&lt;/h2&gt;&lt;ul&gt;&lt;li&gt;NVIDIA/OpenShell &lt;small&gt;+5,110 星标，现有 13,893&lt;/small&gt;&lt;/li&gt;&lt;li&gt;affaan-m/ECC &lt;small&gt;+3,880 星标，现有 270,597&lt;/small&gt;&lt;/li&gt;&lt;li&gt;google/ax &lt;small&gt;+2,640 星标，现有 12,777&lt;/small&gt;&lt;/li&gt;&lt;/ul&gt;&lt;h2&gt;结论变了什么&lt;/h2&gt;&lt;table&gt;&lt;tr&gt;&lt;td&gt;收录的论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;5,513 → &lt;b&gt;5,593&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;近 12 个月的新论文&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3,704 → &lt;b&gt;3,758&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;有论文收录的机构&lt;/td&gt;&lt;td class=&quot;n&quot;&gt;3,540 → &lt;b&gt;3,568&lt;/b&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;p class=&quot;sub&quot;&gt;另外 10 项结论的数字变动不到 0.5 个百分点。&lt;/p&gt;&lt;h2&gt;上期修订&lt;/h2&gt;&lt;p&gt;2026-09-20 – 2026-09-26 首次统计 121 篇，之后补录 1 篇，现为 122 篇。&lt;/p&gt;</content></entry></feed>
