⌘ K
… 读取采集状态 同步中...
雷

端侧 AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

最新精选

第 1–20 条 · 共 53 条
10月11日周日
  1. 机器之心66

    白泽通境推出溯因式世界模型AWM与端侧引擎BAIZ-RUN,成立三个月完成数千万元融资

    白泽通境推出溯因式世界模型AWM,通过预测实体、动态与关系来解释世界变化,并开源了论文与代码。公司同步开发端侧推理引擎BAIZ-RUN,支持2-bit量化,在AMD Radeon边缘显卡上使内存占用降低2.56倍,推理频率提升94.6%,且精度损失不到1%。该引擎兼容NVIDIA、AMD和华为昇腾,白泽通境成立不到三个月完成首轮数千万元融资,并已在工业上下料、质检和巡检三个场景完成签约验证。

    推荐理由:原文梳理了白泽通境如何把溯因式世界模型与端侧推理引擎整合进机器人场景,并给出融资与落地节点,供读者快速定位其在具身智能赛道的工程价值。

10月9日周五
10月8日周四
  1. NVIDIA Blog81

    NVIDIA 与 Microsoft 发布 RTX Spark 与 DGX Station for Windows

    在 Microsoft 于旧金山举办的 Windows AI and Surface 活动上,NVIDIA 和 Microsoft 宣布共工程化 Windows PC 上的智能体运行平台,包括新硬件 RTX Spark、操作系统级安全执行容器 MXC,以及针对企业桌面推出的 DGX Station for Windows。

    推荐理由:原文展示了Windows本地运行智能体的硬件与系统基建组合,读者可判断Windows端侧AI能力的完整落地方案。

10月7日周三
  1. Google DeepMind78

    Google DeepMind 发布轻量级多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布 EmbeddingGemma 2,这是一个专为端侧推理优化的轻量级多模态嵌入模型。该模型拥有 7.4 亿参数,基于 Gemma 4 架构构建,采用 Apache 2.0 开源协议,支持原生映射文本、代码、图像、视频和音频到统一嵌入空间。

    推荐理由:EmbeddingGemma 2 将代码、图像、视频和音频统一进单一嵌入空间,并提供 740M 参数端侧推理方案,开发者可据此直接构建离线多模态 RAG 管线。

10月4日周日
  1. Datawhale77

    Meta 开源 Muse Gadgets,支持在树莓派等硬件运行本地 AI 助手

    Meta 开源 Muse Gadgets,提供 ESP32 固件和 Linux SDK,开发者可将其部署在树莓派等单板计算机上,实现语音交互与传感器读取。官方还推出 Muse Home Link 配件,用于连接家中现有的智能家居设备。

    推荐理由:Meta 开源 Muse Gadgets 的固件与 SDK,允许开发者通过现成硬件构建本地 AI 助手,打破封闭硬件生态。

  2. Google AI Developers Blog67

    Google 发布 ADK for Kotlin 1.0,支持构建生产级 AI 智能体

    Google 发布 ADK for Kotlin 1.0 稳定版,提供与 ADK 1.0 Core 对等的多智能体编排能力,支持跨会话状态持久化与 Java 互操作。该版本内置 Android 优先扩展,允许开发者使用 LiteRT-LM、ML Kit 实现端侧运行,或通过 Firebase AI Logic 构建混合云端工作流,并结合 Room 与 AppSearch 在应用内持久化智能体状态。

    推荐理由:Kotlin 开发者可以据此直接在 Android 端或服务器端构建生产级 AI Agent,并复用既有的 Java 生态。

  3. InfoQ CN79

    谷歌发布 Kotlin 版 ADK 1.0,实现与 Python 版功能对齐并支持端侧 AI

    谷歌发布 Agent Development Kit (ADK) 的 Kotlin 版本 1.0,使 Kotlin 开发者能实现与 Python 和 Java ADK 同等水平的生产级 AI 智能体构建。新增功能包括层级化多智能体支持、上下文压缩、会话管理以及基于 KSP 编译期注解的工具调用与人工确认机制。框架同时支持 LiteRT-LM 等端侧推理方案,实现云端与本地 AI 能力的混合使用。

    推荐理由:ADK Kotlin 1.0 让智能体构建脱离 Python 依赖,通过编译期注解与安全确认机制为端侧开发提供更稳健的工具调用方案。

  4. Google AI Developers Blog67

    Antigravity SDK 新增本地 AI 模型支持

    Antigravity SDK 正式支持本地 AI 模型工作流,初始兼容 Gemma 4 26B A4B 并基于 Google AI Edge LiteRT 实现完全离线运行。

    推荐理由:原文给出了本地模型接入 SDK 的具体命令和混合编排架构,读者可据此评估端侧推理在成本与隐私场景中的可行性。

10月3日周六
  1. MarkTechPost76

    NVIDIA 宣布 DGX Spark 64GB 桌面版:面向本地 AI 智能体与微调的 Grace Blackwell 系统

    NVIDIA 宣布由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 生产 DGX Spark 64GB 桌面配置,搭载 GB10 Grace Blackwell 超级芯片,提供最高 1 PetaFLOP 的 FP4 算力和 64GB LPDDR5x 统一内存,10 月 23 日发售。

    推荐理由:文章拆解了 DGX Spark 64GB 的硬件配置、本地微调及 Agent 部署的实际能力边界,帮助读者评估端侧算力升级对降低 API 成本的真实影响。

10月2日周五
  1. AI HOT66

    NVIDIA 发布 DGX Spark 64GB 版本,起价 $4,999

    NVIDIA 宣布推出搭载 64GB 统一内存的 DGX Spark,于 10 月 23 日由 Acer、ASUS 等厂商发售,起价 $4,999,支持本地运行最高 1000 亿参数的模型。两台设备可通过集群互联将内存池化至 128GB,实测 Qwen3.8 27B 性能较单机提升最高 1.7 倍。

    推荐理由:官方给出了 64GB 版本的定价、发售时间及双机集群性能数据,读者可以据此评估本地 AI 部署的内存与成本取舍。

  2. NVIDIA Blog74

    NVIDIA DGX Spark 64GB 本地 AI 平台发布,双机集群可扩展至 128GB

    NVIDIA DGX Spark 新增 64GB 统一内存配置,本月由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 提供,支持在本地私有运行最高 1000 亿参数模型和智能体应用。

    推荐理由:64GB 配置以更低门槛跑 100B 参数本地模型,双机互联可扩展到 128GB 内存,适合独立开发者在本地部署和扩展智能体工作流。

9月29日周二
  1. 机器之心74

    清华与无问芯穹等开源具身端侧推理引擎 APXInf,推理延迟降至 26ms

    清华大学联合无问芯穹与上海交通大学开源了面向具身模型的端侧推理引擎 APXInf,在 Thor 芯片 FP8 配置下将 π0.5 推理延迟从 278ms 降至 26ms,端到端提速约 10.7 倍,控制频率达 38.46Hz。

    推荐理由:原文用具体延迟数字和分层验证设计说明了端侧推理优化如何落地,可迁移给正在部署具身模型的团队。

9月26日周六
  1. 硅星人Pro78

    高通骁龙峰会:芯片系统级重构支撑端侧 Agent 时代

    高通骁龙峰会首次同步发布第六代骁龙8至尊版和超级至尊版两款 2 纳米工艺芯片,旨在通过 CPU、NPU 和 GPU 的系统级协同设计支撑端侧 Agent 的多轮推理与工具调用。

    推荐理由:原文通过骁龙芯片架构的系统性重构,拆解了端侧设备承载 Agent 持续推理所需的数据流转与能效底层逻辑。

9月25日周五
  1. 极客公园75

    高通发布骁龙双旗舰,推进智能体全栈技术路线

    高通发布第六代骁龙 8 超级至尊版和至尊版,两款平台均进入 2nm 制程,围绕智能体工作流重新设计 CPU、GPU 和 NPU。超级至尊版 CPU 主频首次突破 5GHz,NPU 支持 300 亿参数 MoE 模型,GPU 引入 Adreno Matrix Cores 和 Neural Fusion。

    推荐理由:展示了骁龙芯片与终端如何围绕智能体工作流重构,有助于理解端侧 AI 架构变化的实际走向。

  2. 量子位83

    高通骁龙峰会全押智能体:发布2nm旗舰双芯及第二代音频平台

    高通在骁龙峰会上发布第六代骁龙8至尊版和超级至尊版芯片,均采用2nm制程,CPU最高主频达5GHz,新增Oryon FlexCache动态缓存架构,NPU引入Element Accelerator加速Transformer负载。

    推荐理由:高通在骁龙峰会发布了第六代骁龙8至尊版芯片和第二代音频平台,其CPU、GPU、NPU升级均围绕智能体调度设计,并宣布与谷歌合作打造Googlebook,展现了个人AI全栈解决方案的布局。