⌘ K
… 读取采集状态 同步中...
雷

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–20 条 · 共 40 条
10月13日周二
10月11日周日
  1. 量子位 QbitAI68

    硅谷AI算力争夺战:巨头互求资源,初创公司面临生存两难

    硅谷AI行业陷入算力争夺,算力成为决定模型迭代和人才留存的硬通货。Meta CEO扎克伯格向Anthropic CEO达里奥·阿莫迪寻求算力支持被拒,SpaceX则充当英伟达GPU中间商赚取利润。

    推荐理由:梳理硅谷算力争夺的关键交易和价格变化,为判断中小团队生存空间与供应链格局提供参照。

10月9日周五
  1. 量子位 QbitAI73

    字节Seed团队发现DeepSeek-V4长上下文表现波动源于分块KV Cache压缩的相位敏感性

    字节Seed团队研究发现,DeepSeek-V4系列模型在长上下文检索中的准确率会随信息输入位置呈周期性波动,最大差距可达40.2个百分点。这种波动源于模型采用的分块KV Cache压缩技术中的“相位敏感性”,即信息在压缩窗口中的相对位置影响了检索效果。后续迭代版本通过优化已显著缩小该差距,研究建议评估此类模型时需测试不同压缩相位的表现。

    推荐理由:文章揭示了分块KV Cache压缩导致的相位敏感性,解释了DeepSeek-V4长上下文表现波动的底层原因。

10月6日周二
  1. AI HOT73

    Liquid AI 发布 d1 决策模型并新增图像输入能力

    Liquid AI 发布首个支持文本与图像输入的 d1 决策模型,已在 console.liquid.ai 和 d1 Playground 上线,支持实时文本决策,单次耗时 200 至 300 毫秒。官方对比显示,d1 在六个真实应用中的四个上效果与 GPT-6.1 Sol 持平或更优,成本比二者低 19 至 200 倍;图像按每 32×32 像素块 1.5 个 token 计费。

    推荐理由:原文明确了 d1 在四类真实应用中相对 GPT-6.1 Sol 与 Claude Opus 5.5 的成本优势,给出 200–300 ms 的决策时延与 19–200 倍价格差距。

10月3日周六
  1. MarkTechPost69

    IBM Bob 自托管版 GA:支持离线环境下的智能体软件开发

    IBM Bob 自托管部署选项已正式发布通用可用(GA),支持本地、私有云及物理隔离(air-gapped)网络环境运行。该方案采用自带模型(BYOL)策略,不捆绑模型;完全隔离场景支持 NVIDIA Nemotron 和 Poolside Laguna,混合模式可将部分工作负载路由至 Claude、Gemini 或 GPT 等外部模型。

    推荐理由:文章梳理了 IBM Bob 自托管版本的可用模型矩阵,并对比了 GitLab、Mistral 和 GitHub 在隔离网络下的智能体编码能力。

  2. AI HOT72

    Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%

    Baseten 工程师利用 MetaInfer 框架和 Claude Code 为 Qwen-3.6-35B-A3B 构建推理引擎 VibeQwen,在单张 B200 上比 vLLM 0.25.1 快 90%。VibeQwen 将首 token 延迟从 28ms 降至 12ms,并发 32 时吞吐量提升 71%。

    推荐理由:原文提供了LLM生成推理引擎的具体性能对比数据,可帮助评估自动优化在部署工程中的实际可行性。

10月2日周五
  1. AI HOT66

    Google Project Suncatcher 首颗原型卫星发射入轨

    Google Project Suncatcher 宣布其首颗原型卫星已搭乘 SpaceX Transporter-18 拼车任务成功入轨。该卫星由 Google 与 Planet 合作建造,旨在收集 Google TPU 在太空物理应力及极端环境下的表现数据,以评估连接多个卫星星座实现规模化机器学习的可行性。

    推荐理由:原文给出了原型卫星的发射任务、合作方Planet以及测试Google TPU太空表现的目标,读者可以据此了解太空算力方案的实际进展。

10月1日周四
  1. AI HOT77

    Modal Clusters 正式发布,通过 @modal.clustered 提供多节点 GPU 集群

    Modal 宣布 Modal Clusters 正式可用,通过一个装饰器 @modal.clustered 即可获得多节点集群,节点间经 InfiniBand verbs 通信可达 6.4 Tbps,自动配置 PyTorch 和 NCCL。

    推荐理由:官方宣布多节点集群正式可用,文中解释了 gang scheduler 与 RDMA 的实现细节,并给出 Decagon、1x、Runway 的实际用法。

  2. AI HOT73

    Modal 推出 Sidecars,为 Sandboxes 提供低延迟信任边界

    Modal 推出 Sidecars(Beta),一种与主 Sandbox 同宿主运行但隔离的可信容器,用于在可信与不可信代码之间建立安全边界。Sidecars 比使用独立 Sandboxes 快 3 倍跨信任边界通信,Ramp 用它构建自定义 egress 代理监控其 coding agent 的出站流量。

    推荐理由:原文给出了 Sidecar 的隔离机制、3 倍通信提速和 Ramp 实例,读者可据此评估替代现有 egress 控制的可行性。

9月30日周三
9月29日周二
  1. 机器之心74

    清华与无问芯穹等开源具身端侧推理引擎 APXInf,推理延迟降至 26ms

    清华大学联合无问芯穹与上海交通大学开源了面向具身模型的端侧推理引擎 APXInf,在 Thor 芯片 FP8 配置下将 π0.5 推理延迟从 278ms 降至 26ms,端到端提速约 10.7 倍,控制频率达 38.46Hz。

    推荐理由:原文用具体延迟数字和分层验证设计说明了端侧推理优化如何落地,可迁移给正在部署具身模型的团队。

9月24日周四
  1. Google DeepMind62

    Google DeepMind 更新 Private AI Compute,引入安全服务端记忆

    Google DeepMind 更新了 Private AI Compute 平台,新增安全的服务端持久记忆功能。该架构通过硬件隔离的安全飞地(secure enclaves)和由用户设备持有的加密密钥,在云端加密存储信息,实现跨设备的长期上下文连续性,同时确保数据隐私。官方还公布了技术白皮书、防篡改的公开软件记录以及独立安全审计结果,供隐私社区验证。

    推荐理由:介绍了一种新的云端持久记忆架构,通过硬件隔离和数据加密解决了长期隐私与跨设备连续性的矛盾。

9月23日周三
  1. AWS News74

    AWS 发布 Amazon CloudWatch Omni:面向生成式 AI 与智能体负载的 AI 可观测性平台

    Amazon CloudWatch 推出 CloudWatch Omni,这是专为 AI 智能体设计的统一可观测性、评估与实验工具。它通过 VS Code 和 Kiro 扩展及独立 Web 端提供两个主要入口,支持在 IDE 中调试追踪(traces)并在 Web 端监控生产环境,两者共享相同数据。

    推荐理由:官方介绍专为 AI Agent 设计的统一可观测性工具 CloudWatch Omni,提供 IDE 集成与 Web 端双入口及内置评估器。

9月22日周二
  1. Latent Space77

    TypeSafe 发布 Jev:面向生产环境的 System One 模型

    TypeSafe 推出 System One 模型 Jev,其核心创新是 RLCD 技术,旨在优化具有认知诚实概率的自动化决策。CEO Diogo Almeida 解释了为何传统 RLHF 不适合软件依赖场景,并强调该模型专注于提升每美元的智能输出,而非参与公众基准测试竞争。

    推荐理由:嘉宾详细阐述了 TypeSafe 放弃传统 RLHF 转向 RLCD 的逻辑,为理解新型编程导向模型提供了关键背景。

9月21日周一
9月19日周六
  1. 智东西69

    华为发布灵衢互联架构与昇腾960超节点,10万卡集群MFU提升至35%

    华为在2026全联接大会发布灵衢(UnifiedBus)统一互联架构、昇腾960超节点及OceanStor M900存储新品。基于灵衢的10万卡集群模型浮点算力利用率(MFU)从20%提升至35%,单集群支持100万颗AI处理器。

    推荐理由:原文通过MFU提升15%的数据与协议归一细节,阐释了华为灵衢互联如何支撑十万卡级集群应对AI Agent的高频通信需求。