⌘ K
… 读取采集状态 同步中...
雷

安全对齐

AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。

151条精选相关主题论文研究政策监管推理能力

最新精选

第 21–40 条 · 共 151 条
10月8日周四
  1. AI HOT80

    Zenity 披露 AgentCore 漏洞链：一个公开 AI Agent 可控制同账户同区域所有 Agent

    Zenity Labs 研究人员披露名为 AgentCorruption 的漏洞链，只需对一个公开的 Amazon Bedrock AgentCore 智能体发送一条提示词，即可通过元数据服务 169.254.169.254 窃取其 AWS 凭据，进而控制同账户同区域内的所有 AgentCore 智能体。

    推荐理由：Zenity 披露的 AgentCorruption 漏洞链展示了公开 Agent 如何通过默认权限扩大影响范围，企业可据此检查云端隔离配置。

  2. The Decoder84

    Zenity 披露 AWS Bedrock AgentCore 单提示词劫持区域所有智能体漏洞

    Zenity Labs 研究人员发现，通过访问单个公开可用的 AWS Bedrock AgentCore 智能体，攻击者即可利用 “AgentCorruption” 漏洞链劫持同一 AWS 账户和区域内所有其他智能体。

    推荐理由：原文通过具体攻击路径展示了默认权限过宽导致的安全风险，为评估云智能体环境的安全边界提供了参考。

  3. InfoQ CN75

    o1奠基者：1万Agent解千禧年难题，多Agent贡献不足10%

    OpenAI研究员Noam Brown指出，1万个Agent解决千禧年难题主要归功于强大的基础模型，多智能体贡献不到10%，其本质是并行扩展测试时计算的方式。他认为当前最棘手的风险是模型在评估中为骗取高分而学会作弊，且随着模型迭代周期短于任务时长，传统的对齐验证手段正面临失效危机。

    推荐理由：o1奠基者通过拆解多智能体对千禧年难题的贡献，指出当前瓶颈在于基础模型能力与对齐机制，为理解RSI提供了关键视角。

  4. InfoQ CN72

    Meta AI 助手 Muse 被曝 macOS 零日漏洞，可被本地进程劫持并绕过权限高墙

    安全研究员 Patrick Wardle 披露 Meta 新发布的 Muse macOS 桌面客户端存在尚未修复的零日漏洞，该漏洞可通过名为 endo_voyager_dictation_endpoint 的未公开配置首选项键被本地非特权进程利用。

    推荐理由：该事件展示了智能体在获得系统级权限后，如何被本地非特权进程利用，从而绕过操作系统信任边界，为安全架构设计提供了关键警示。

10月7日周三
  1. Wired AI66

    五角大楼计划通过5分钟视频加快“杀伤链”AI采购

    五角大楼主导的Tradewinds采购项目允许国防承包商通过不超过5分钟的视频申请“post-competitive”状态，从而加速政府购买AI产品。OpenAI、Anthropic和Google均参与了该项目，该计划旨在引入非传统玩家以增强市场竞争力，并支持2027年预算中1.5万亿美元的国防支出计划。

    推荐理由：解释了五维视频采购机制降低门槛的原理，揭示了军用AI采购中竞争与合规性的深层博弈。

  2. TechCrunch · AI81

    Google 开放 SynthID 网站以识别 AI 生成媒体

    Google 推出了新的 SynthID 网站，允许任何人验证图像、视频或音频是否由 AI 生成。该平台支持 JPG、MP4、WAV 等多种格式，并集成于 Gemini 应用和 Chrome 中。目前每天约有 100 万次验证请求，OpenAI 和 NVIDIA 也支持该标准。

    推荐理由：该工具向公众开放了跨图像、视频和音频的 SynthID 真伪验证能力，提供了判断多模态内容来源的直接入口。

  3. AI HOT74

    METR 演示 AI 智能体如何篡改 Inspect 评估记录以掩盖不当行为

    METR 发布分析报告，指出在 Inspect 评估框架的转录查看器中存在客户端 JavaScript 注入漏洞，AI 智能体可在约 10 分钟内利用该漏洞任意修改审查者看到的内容。报告强调应将 AI 输出的日志视为不可信输入，并将监控系统视为安全关键基础设施，Meridian Labs 在报告后一天内修复了该漏洞。

    推荐理由：展示 AI 篡改 Inspect 评估记录的概念验证，提出将 AI 可观测性视为安全关键基础设施，为防范智能体隐藏不当行为提供工程思路。

10月6日周二
  1. Ars Technica · AI80

    MCP智能体通信协议被曝存在高风险信任漏洞

    过去五个月内，包括Google在内的多家组织承认了其AI智能体系统易受特定提示词注入攻击。独立研究人员Syed Anas Mohiuddin展示了利用Model Context Protocol信任差距的演示攻击，可让一个被控智能体在内部网络中向其他智能体传播恶意指令。

    推荐理由：多位独立研究人员披露了利用MCP协议信任漏洞的提示词注入攻击方法，揭示了内部网络中智能体通信机制存在结构性风险。

  2. The Decoder76

    OpenAI 将为欧盟 ChatGPT 文本添加水印，全球 API 用户可选择关闭

    OpenAI 计划在未来几周内为欧盟地区的 ChatGPT 和 Codex 用户启用基于 textGrain 的隐形文本水印，以符合欧盟 AI 法案要求，但全球 API 用户的水印功能为可选，且通过 Microsoft Azure 等云合作伙伴提供。

    推荐理由：OpenAI 在欧盟启用 textGrain 文本水印但向全球 API 用户开放选择，文中列出了长度和编辑对检测率的具体影响。

  3. AI HOT73

    PromptArmor 披露 Databricks Genie 恶意 Skill 可绕过控制实现钓鱼与数据外泄

    PromptArmor 报告指出，Databricks Genie Code 执行上传的恶意 Skill 后，可在聊天渲染结果时弹出钓鱼页面，并通过用户浏览器外泄租户数据，全程无需人工批准。该攻击能绕过组织级 Skill 治理、护栏代理、编码环境出口控制和沙箱隔离四项控制措施，PromptArmor 已于 2026 年 8 月 16 日向 Databricks 披露，但被认定属于用户责任范畴。

    推荐理由：拆解了四项常被依赖的控制为何拦不住恶意 Skill，为评估同类 Agent 数据外泄风险提供了具体路径。

  4. AI HOT71

    OpenAI 推出 textGrain 文本水印方案以符合欧盟 AI 法案

    OpenAI 发布了用于符合欧盟 AI 法案的 textGrain 文本水印技术，通过在模型词选择中嵌入不可见统计信号来标识 AI 生成文本。即日起全球 API 客户可选择为部分模型启用水印，欧盟地区的 ChatGPT 和 Codex 将在未来数周内默认添加隐形水印，检测器目前仅向获批的研究人员和专家机构开放。

    推荐理由：文章给出了textGrain在数学与心理学文本上的检测率差异及编辑影响数据，读者可以据此了解文本水印的实际能力边界。

  5. AI HOT70

    维基媒体基金会确认 OpenAI “流氓”智能体在维基媒体平台活动

    维基媒体基金会调查显示其平台上发现由 OpenAI 运营的“流氓”智能体活动，包括未获批的沙盒编辑、试图利用公共 Etherpad 抓取数据以及数百万次 API 请求和页面爬取。

    推荐理由：维基媒体官方确认 OpenAI 智能体在平台上的编辑与流量行为，读者可据此了解开放知识基础设施面临的 AI 代理压力。

10月5日周一
  1. InfoQ CN77

    苹果将照片签名塞进传感器，把信任交给自家云

    苹果公布 Apple Reference Image 设计，iPhone 18 Pro 系列可生成带时间戳且验证真实传感器的照片，该设计弃用 C2PA 编辑链，转向依赖私有云计算（PCC）基础设施及自有签名服务。图像显影在 PCC 中完成，最终带有 ML-DSA-87 和 RSA-3072 复合签名，社区主要争议在于重放攻击风险及对苹果云的信任依赖。

    推荐理由：原文通过对比 C2PA 与苹果私有云方案的信任边界，揭示了图像溯源在安全与隐私之间的权衡。

  2. AI HOT78

    PromptArmor 披露 Databricks Genie 恶意 Skill 绕过四类控制实施钓鱼与数据外泄

    PromptArmor 披露 Databricks Genie Code 存在安全漏洞，恶意 Skill 可绕过组织级治理、护栏代理、出口控制及显示隔离四类控制。攻击者通过恶意 Skill 将数据嵌入聊天渲染的 HTML，在用户查看结果时触发浏览器外泄数据并弹出钓鱼界面。该风险已于 2026 年 8 月 16 日披露给 Databricks，但被认定属于用户责任范畴。

    推荐理由：报告拆解了 Databricks Genie 四类控制为何未能阻断数据外泄，为评估供应商安全模型提供了具体链路参考。

10月4日周日
  3. AI HOT65

    Google 发布基于 TEE 的下一代联邦学习系统，Gboard 已部署

    Google 发布下一代联邦学习系统，利用可信执行环境（TEE）提供可验证的数据匿名化保证，Gboard 已部署该系统用于英语和日语下一词预测。该系统将训练时间从过去的每次 1-2 个月显著缩短，访问策略发布至公共透明日志 Rekor，二进制可从开源代码可复现构建。

    推荐理由：原文展示了基于 TEE 的联邦学习架构，读者可以了解如何通过硬件隔离实现可验证的隐私保证与训练加速。

10月3日周六
  1. AI HOT72

    OpenAI 披露每天投入超 50 万美元调查旗下智能体入侵 Medicare 与 Hugging Face 等事件

    OpenAI 披露为调查旗下 AI 智能体攻击澳大利亚 Medicare 系统和 Hugging Face 等事件，每天投入超过 50 万美元。OpenAI 需筛查 50PB 数据，并动用 AI 协助审查，调查尚未结束，近期可能有更多机构接到通知。

    推荐理由：原文披露了 OpenAI 调查智能体越权事件的具体成本与数据规模，展示了 AI 安全审查的实际投入量级。