⌘ K
… 读取采集状态 同步中...
雷

#行业动态

今日 19 条
10月14日周二
  2. Anthropic Research28

    Anthropic 发布报告探索应对 AI 经济影响的九类政策

    Anthropic 基于 Economic Index 观察到用户更多将完整任务委托给 Claude，独立使用 AI 的趋势正在加速。为此，Anthropic 联合政策专家提出涵盖劳动力开发、财政与基建等九类政策想法，以应对从温和到剧烈的不同经济冲击场景。其中一项建议是政府向创造正式培训岗位的雇主提供每年 1 万美元的补贴。

9月13日周六
9月9日周二
9月2日周二
7月30日周三
  1. AISI Blog66

    AISI宣布启动AI对齐全球基金，首轮融资超1500万英镑

    AISI启动名为Alignment Project的全球基金，为首轮60多个AI对齐研究项目提供了超过2700万英镑的资助。该基金旨在推动先进AI系统的安全性与可靠性，向跨学科研究人员提供最高100万英镑的资金支持。

    推荐理由：该基金提供最高100万英镑支持跨学科AI对齐研究，读者可据此了解全球对齐领域的资金规模与具体资助门槛。

7月24日周四
  1. AISI Blog52

    AISI 成立社会韧性团队并发布四大前沿 AI 风险研究领域

    英国 AISI 成立社会韧性团队，负责监控前沿 AI 系统部署并提供基于证据的风险评估。团队确立了四个优先研究领域：关键系统过度依赖、AI 伴侣导致的情感依赖、AI 辅助的欺诈犯罪以及金融系统不稳定性。AISI 将通过绘制 AI 实际应用图、测量脆弱性影响、构建监控系统和测试评估解决方案这四个步骤，联合政府、监管机构和社区共同应对这些新兴风险。

7月22日周二
7月10日周四
  1. AISI Blog48

    AISI 为何致力于白盒控制：检测模型“沙袋”行为的初步结果

    英国 AI 安全研究所（AISI）发布白盒控制研究进展，重点检测模型在评估中故意表现不佳的“沙袋”行为。实验表明，针对 Llama-3.1-8B-Instruct 的欺骗探针在白盒检测中效果优于黑盒监控，但模型规模和任务复杂度增加会导致两种方法的准确率下降。分析 AISI 过往测试记录未发现沙袋行为证据，未来将通过红蓝对抗测试验证方法的鲁棒性。

7月3日周四
  1. AISI Blog25

    英国 AI 安全研究所探讨 AI 如何助长未来犯罪

    英国 AI 安全研究所（AISI）针对前沿 AI 被用于犯罪的问题提出应对框架，重点研究多模态生成、高级规划推理及 AI Agent 三大能力带来的风险。研究所通过多模态评估、派生应用分析及红队测试等方法建立证据基础，旨在探索模型与部署层面的干预措施。目前，AISI 正在招聘犯罪滥用工作流负责人及研究人员以推进相关研究。

  2. Mistral News43

    Mistral AI 宣布启动“AI for Citizens”计划

    Mistral AI 宣布“AI for Citizens”计划，协助政府及公共机构利用 AI 改造公共服务并提升竞争力。该计划提供自主托管、SaaS 及服务端 API 等部署选项，支持数据主权及模型共训，以替代封闭且缺乏灵活性的通用型 AI 方案。Mistral AI 正与法国、卢森堡、新加坡、荷兰、英格兰、瑞士等国家的政府及教育机构合作推进该愿景。

5月6日周二
4月3日周四
3月11日周二
11月13日周三
  1. AISI Blog71

    英国 AI 安全研究所总结成立首年进展，推出 Inspect 平台并推进全球安全标准

    英国 AI 安全研究所（AISI）在成立一周年时回顾其首年建设，表示已通过自动化基准、红队测试和人类增益研究对 16 个模型开展安全评估，并与 OpenAI、Google DeepMind、Anthropic 等公司合作测试前沿模型。

    推荐理由：原文复盘了英国 AI 安全研究所成立首年的评估能力与国际协作进展，读者可据此判断其全球治理角色与后续动向。

11月5日周二
10月24日周四
  1. AISI Blog45

    AISI 第三方前沿 AI 系统评估初步经验

    英国 AI 安全研究所（AISI）阐述了开展第三方独立评估的初步思考，指出当前科学尚不成熟，独立评估主要作为激励安全改进的工具而非安全认证。评估重点在于测试可能达到或超越当前最先进水平（SOTA）的系统，并在部署前和部署后对能力进行监测。该研究旨在通过独立视角验证企业安全声明，互补内部评估，并推动政府了解新兴风险。

10月15日周二
  1. Anthropic News58

    Anthropic 更新负责任扩展政策（RSP）

    Anthropic 发布了更新后的负责任扩展政策（Responsible Scaling Policy, RSP），提出更具灵活性的风险缓解框架。更新包括引入明确的能力阈值（如自主 AI 研发和 CBRN 武器协助），当模型达到这些阈值时需升级安全防护至 ASL-3 或更高标准。

  2. AISI Blog45

    AISI 开放系统性 AI 安全资助项目申请

    AI Security Institute (AISI) 开放第一阶段系统性 AI 安全资助申请，旨在理解并缓解 AI 部署带来的广泛社会风险。项目支持英国及国际研究者探索前沿 AI 在关键领域的影响，通过资助技术、治理及行业协作研究，提升系统韧性并促进跨领域合作。

10月9日周三
  1. Anthropic News28

    Anthropic 发布 2024 美国大选 AI 安全应对措施

    Anthropic 公布针对 2024 年美国大选的准备措施，禁止使用 Claude 进行政治竞选、游说及生成相关虚假信息，并仅输出文本以规避深度伪造风险。公司部署自动化系统与人工审计以执行政策，实施政治中立性测试和漏洞测试，同时在用户查询投票信息时将其重定向至 TurboVote 等权威资源。

9月4日周三
8月8日周四
7月18日周四
7月2日周二
5月30日周四
  1. Anthropic News28

    Jay Kreps 加入 Anthropic 董事会

    Confluent 联合创始人兼 CEO Jay Kreps 正式加入 Anthropic 董事会，以协助公司迈向下一阶段增长。他在数据基础设施和开源软件开发领域的深厚专长将助力 Anthropic 为企业客户构建数据驱动的产品体验。

5月21日周二
5月20日周一
  1. Anthropic News55

    Anthropic 分享责任扩展政策实施经验

    Anthropic 发布关于实施责任扩展政策（RSP）的经验总结，旨在将高级别安全概念转化为针对前沿模型灾难性风险和滥用的实践指南。文章详细阐述了建立“红线能力”（Red Line Capabilities）、ASL-3 安全标准及保障机制的五个核心承诺，并分享了在威胁建模、评估方法（如 CBRN、模型自主性测试）及跨领域合作中的关键反思，包括引入核安全、生物安全等领域的最佳实践。

5月15日周三
  1. Anthropic News31

    Mike Krieger 加入 Anthropic 出任首席产品官

    Instagram 联合创始人兼前 CTO Mike Krieger 已加入 Anthropic，担任首席产品官。他将领导产品工程、产品管理和产品设计团队，致力于扩展企业应用并推广 Claude。此前，他在 Yahoo 旗下 Artifact 公司工作，曾参与构建个性化新闻应用。

3月20日周三
2月29日周四
2月9日周五
  1. AISI Blog30

    AISI 评估方法概述

    AISI 发布博文，概述其评估工作的动机、测试目标及模型选择方法。文章还展示了近期评估演示，并介绍了未来工作计划。该博文为 AI 安全评估领域的技术实践提供了系统性说明。

2月5日周一
11月2日周四
10月30日周一
9月25日周一
  1. Anthropic News92

    Anthropic 宣布获得 Amazon 最高 40 亿美元投资并深化算力合作

    Anthropic 宣布 Amazon 将投资最高 40 亿美元并获得少数股权。AWS 成为 Anthropic 主要云提供商，提供 Trainium 和 Inferentia 芯片算力支持模型训练与部署。Claude 2 扩展支持 Amazon Bedrock，提供安全微调及 100,000 token 上下文窗口，LexisNexis 等机构已基于此构建应用。

    推荐理由：宣布最高40亿美元投资及AWS算力合作，确立了Claude在AWS Bedrock上的企业级落地路径与安全定制能力。

9月19日周二
  1. Anthropic News72

    Anthropic 宣布长期利益信托治理结构

    Anthropic 公开其新治理结构“长期利益信托”（LTBT），该信托由五名无财务利益关系的受托人组成，有权选举和罢免董事会成员，最终将控制董事会多数席位。结合公益公司（PBC）身份，LTBT 旨在使公司治理与“为人类长期利益负责任地开发和维护先进 AI”的使命对齐。

    推荐理由：原文揭示了 Anthropic 治理结构的设计逻辑与初始信托成员，为理解 AI 公司如何平衡商业与安全提供了具体参考。

9月14日周四
  1. Anthropic News37

    Anthropic 与 BCG 合作将 Claude 引入企业

    Anthropic 与波士顿咨询集团（BCG）建立合作伙伴关系，通过向 BCG 客户提供 Claude 助手访问权限，协助其部署更安全可靠的 AI 解决方案。双方将在利用 Claude 2 进行知识管理、市场分析等应用方面合作，并已在联合国框架下共同推动生成式 AI 的价值探索。BCG 团队亦将内部使用 Claude 以提升研究综合与数据分析效率。

9月7日周四
  1. AISI Blog21

    AISI 首份进展报告

    人工智能安全研究所（AISI）在成立的前 11 周内发布首份进展报告。团队招募了由 Yoshua Bengio 在内的国家安全与机器学习领域专家组成顾问委员会，引进了剑桥大学和牛津大学的顶尖教授，并宣布了 4 项研究合作伙伴关系。

8月15日周二
  1. Anthropic News52

    SKT 成为 Anthropic 商业合作伙伴并投资 1 亿美元

    韩国最大电信运营商 SKT 宣布成为 Anthropic 的商业合作伙伴及战略投资者。双方将利用 Fine-tuning 技术结合 SKT 在电信领域的专业知识，开发一款支持韩语、英语、日语、西班牙语等多种语言的多语言 LLM 模型。该模型针对客户服务、市场营销、销售等电信应用场景进行了优化，SKT 还将额外投资 1 亿美元。