⌘ K
… 读取采集状态 同步中...
雷

部署工程

把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。

42条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 21–40 条 · 共 42 条
9月16日周三
  2. Cohere Blog68

    Cohere 与 Aleph Alpha 签署业务合并协议，打造首个跨大西洋主权 AI 解决方案

    Cohere 宣布与 Aleph Alpha 签署最终业务合并协议，双方将组成首家跨大西洋主权 AI 公司，总部位于柏林和多伦多，海德堡将保留为研究中心。合并后 Cohere 员工规模将超过 1,000 人，Aleph Alpha 共同首席执行官 Ilhan Scheer 将出任首席运营官，共同首席研究官 Samuel Weinbach 将出任首席研究官。

    推荐理由：交易细节包含双总部架构、高管任命及 STACKIT 云平台合作，读者可据此了解跨国主权 AI 的合规路径。

9月14日周一
  1. APPSO78

    豆包手机助手消费者版本发布，努比亚 NaviX Ultra 首发搭载

    豆包手机助手消费者版本正式发布，首款搭载新机努比亚 NaviX Ultra 将于 9 月 16 日开售。官方强调该版本相比技术预览版更重视稳定性与日常可用性，保留 Beta 版的手机操作能力，新增专属 AI 键，并强化了屏幕理解、个人 Context 与本地数据检索。文章还介绍了 SAEP 屏幕自动化操作声明协议，以及支持调用系统能力与飞书妙记完成任务执行与办公处理等特性。

    推荐理由：文章介绍了产品核心功能升级和协议规范，读者可借此理解 AI Agent 在手机系统层的实际落地路径。

9月9日周三
  1. 新智元86

    Google DeepMind 发布 AlphaGenome Atlas 基因组变异预测数据库

    Google DeepMind 正式发布 AlphaGenome Atlas，这是一个覆盖全基因组的可搜索预测数据库，穷尽了 90 亿种单碱基突变并针对每种突变生成了约 27000 项预测指标。

    推荐理由：该数据库将90亿种基因突变的预测结果压缩为可即时查询的静态图谱，大幅降低了非编码区变异研究的计算与工程门槛。

9月8日周二
  1. 新智元75

    寒武纪成为PyTorch基金会白金成员并获最高席位

    寒武纪正式成为 PyTorch 基金会最高级别白金成员，获得理事会席位。该公司通过 Upstream First 原则向 PyTorch 主干提交覆盖 7 个模块的代码，并实现 DeepSeek-V4 和 GLM-5 在 vLLM 上的 Day 0 适配。

    推荐理由：揭示寒武纪加入PyTorch理事会的意义：中国AI芯片从适配者转为规则制定者，能减少代码重写成本并加速vLLM适配。

9月7日周一
  1. 新智元76

    英伟达拟投近30亿美元给Thinking Machines Lab，估值超400亿美元

    英伟达拟向Thinking Machines Lab投资约30亿美元，投前估值至少400亿美元，拟募资50亿至60亿美元，英伟达可能包揽约一半。该实验室成立19个月，年化收入刚过1亿美元，对应约400倍营收倍数。英伟达同时于9月3日以129.303亿美元收购Hugging Face，两笔交易前后仅隔数日，形成算力生态闭环。

    推荐理由：英伟达近30亿美元投资Thinking Machines Lab与Hugging Face收购形成算力生态闭环，展示AI基建向模型层延伸的路径。

9月1日周二
  1. 新智元71

    Architect Labs 两周AI生成真芯片Redwood实测能效比超Jetson 3.4倍

    Architect Labs 论文《Redwood: A Frontier AI Accelerator Designed, Verified, and Deployed from Scratch in 2 Weeks by AI》指出，两名工程师编写自然语言规格说明书后，AI 在两周内零人工介入从零生成真实芯片硬件，实现包括RTL代码、验证套件及固件的全自动产出。

    推荐理由：论文展示了AI在两周内零人工介入生成可运行芯片的设计，以及其在FPGA上实测能效比高于英伟达Jetson 3.4倍的结果，为硬件研发周期压缩提供了实证。

  2. Hugging Face Blog77

    Hugging Face 发布 200+ 个 WebGPU 内核及浏览器推理工具 @huggingface/kernels

    Hugging Face 发布开源库 @huggingface/kernels 及包含 207 个 WebGPU 内核的集合，支持在浏览器中直接运行优化后的模型推理。该库将内核作为版本化包发布，并推出 Fleet 工具集以在真实硬件上众包性能与正确性测试。在 Apple M4 GPU 上，新内核在几何平均值上比 ONNX Runtime WebGPU 快 2.57 倍。

    推荐理由：原文展示了207个WebGPU内核的独立仓库结构和跨平台基准测试结果，为前端构建本地推理能力提供了可复用的工程基座。

8月27日周四
  1. LangChain Blog65

    LangSmith LLM Gateway 公开测试版上线，为生产智能体提供运行时管控

    LangChain 宣布 LangSmith LLM Gateway 进入公开测试版，作为位于智能体与模型之间的集中治理层，统一执行成本上限、速率限制、模型回退和敏感数据处理等运行时管控。

    推荐理由：原文列出了成本、限流、回退等具体控制项和四级额度层级，读者可据此评估它是否解决自己生产环境的治理痛点。

8月22日周六
  1. 大模型智能76

    深度解析 dLLM：能否取代 AR 以及其核心优势与局限

    Junbo Zhao 在 LLaDA 系列回顾中指出，离散扩散语言模型（dLLM）与自回归模型（AR）并非互斥替代关系，而是一条取决于块大小和提交策略的连续谱。

    推荐理由：作者通过数学推导和工程实践对比，揭示了离散扩散模型在并行速度与联合一致性上的固有矛盾，为理解生成范式竞争提供了量化视角。

8月21日周五
  1. 新智元67

    失业工程师用7000行代码复刻AMD收购的Taalas AI芯片方案

    一位失业工程师表示，他研究Taalas专利后，用约7000行代码编写了编译器，可将HuggingFace模型转化为芯片电路，并称比Taalas方案节省100倍内存调用、推理速度翻倍。他自称需筹集流片费用，该帖子在X平台引发热议，多位科技界人士回应。

    推荐理由：该事件展示了编译器自动化可能将芯片设计从硬件工程转向软件编译的潜在趋势。

8月18日周二
  1. 新智元89

    英伟达注资软银并担保俄亥俄8吉瓦AI工厂，OpenAI签下20年独家租约

    英伟达注资软银旗下公司15亿美元并提供20年信用担保，将俄亥俄州废弃核设施改造为8吉瓦AI超级工厂，OpenAI签署20年独家租约包揽算力。该规划功率接近全球82座最大AI数据中心总和的2/3，第一期为4.25吉瓦，软银承诺引入1吉瓦新增发电并投资42亿美元改造电网，英伟达认为土地、电力和厂房已成为AI发展的核心瓶颈。

    推荐理由：文章量化了8吉瓦算力在全球AI基础设施中的占比，并剖析了英伟达通过信用担保锁定长期电力资源的商业策略。

  2. DeepTech深科技85

    AI Agent重塑硬件需求：CPU供应紧张与厂商战略调整

    随着AI Agent任务形态改变，CPU承担起编排、数据处理和安全检查等关键环节，导致供需格局逆转。英伟达量产Vera CPU，Intel和AMD服务器CPU产能接近满载，云厂商开始为智能体单独建设CPU机架。

    推荐理由：文章梳理了AI Agent工作负载如何将CPU从后台支撑推升至核心瓶颈，并展示了芯片厂商在产能、架构和战略上的具体调整。

8月13日周四
  1. NVIDIA Generative AI Blog87

    NVIDIA GB300 NVL72 可部署阿里巴巴 Qwen3.8-Max 开源模型

    阿里巴巴发布 Qwen3.8-2.4T-A95B（Qwen3.8-Max）开放权重，这是其最大规模的开源模型。NVIDIA 官方博客展示如何在 GB300 NVL72 上部署该模型，该模型总参数达 2.4T，单 token 激活 95B，采用混合专家（MoE）架构与混合注意力机制，支持最长 100 万 token 的上下文窗口。

    推荐理由：NVIDIA 官方给出了将超大规模开源模型部署到高端硬件的方案，为评估前沿开源模型的工程落地提供了直接参考。

8月11日周二
  1. 新智元82

    英伟达联合华尔街巨头成立5000亿美元AI算力融资平台

    英伟达与Apollo、黑石等六家金融机构达成战略合作，旨在成立算力融资平台以动员超5000亿美元第三方资本，用于资助AI实验室及云厂商采购GPU建设数据中心。该模式将算力资产化，通过“按揭”方式降低客户初期投入，但引发市场对其循环融资风险的担忧。

    推荐理由：报道将算力融资类比为飞机租赁，并引用H100租赁价格涨幅，展示算力资产化路径及风险转移逻辑。

  2. 钛媒体AGI89

    英伟达与多家金融机构设立5000亿美元算力融资平台

    英伟达与阿波罗、贝莱德、黑石等六家金融机构签署谅解备忘录，宣布设立独立的算力融资平台，目标是在长期内动员超过5000亿美元的第三方资本为英伟达客户的算力采购提供支持。其核心模式是将算力基础设施类比为可抵押资产，让客户以算力为抵押获取融资。

    推荐理由：英伟达首次将算力转化为可投资的资产类别，并动员第三方资本为算力采购融资。

8月7日周五
  1. 新智元70

    LightWan2.2-A14B 推理优化实现 720p 视频实时生成

    LightWan2.2-A14B 模型通过步数蒸馏、NVFP4 量化感知训练和动态稀疏注意力优化，在单张 RTX 5090 上实现 14B 视频模型高效运行，8 卡配置下 T2V 生成 5 秒 720p 视频仅需 3.8 秒，I2V 仅需 4.5 秒，相较原始模型最高加速达 705.8 倍。该项目已开源，提供单卡与多卡复现脚本。

    推荐理由：提供了单卡和多卡下的具体推理加速数据与工程优化细节，读者可据此评估消费级GPU运行14B视频模型的可行性。

8月4日周二
7月29日周三
  1. Berkeley AI Research63

    K-Search 将 CUDA 内核优化经验迁移至 Apple Silicon

    伯克利团队扩展了 K-Search 进化内核搜索框架，支持 Apple 的 MLX 后端。通过构建结构化的 CUDA 到 MLX 翻译层，该框架利用现有 CUDA 内核作为知识库，在 Apple Silicon 上实现了近专家级的内核性能。

    推荐理由：该研究展示了如何将CUDA积累多年的内核优化经验结构化地转化为Apple Silicon的MLX优化策略，为跨硬件的AI内核优化提供了可迁移的方法论。

7月23日周四
  1. Hugging Face Blog80

    Diffusers 原生支持 Nunchaku 4-bit 扩散模型推理

    Diffusers 原生支持加载 Nunchaku Lite 4-bit 量化扩散模型，无需本地编译即可通过 from_pretrained 调用。在 RTX 5090 上，ERNIE-Image-Turbo 的生成耗时降至 1.7 秒，峰值显存占用从 24 GB 降至 12 GB。

    推荐理由：文章给出了 Nunchaku Lite 在 Diffusers 中的原生加载方法、基准测试数据及量化自定义模型的工具流程。