重磅！开源版Jev本地部署教程来了！ Datawhale干货 开源版Jev：Laya模型**** 平时我们搭 Agent 工作流或者客服系统，经常会遇到这类需求：判断用户想干嘛、工单分到哪个部门、该调哪个具体工具。这类事情没有开放式创作的要求，可如果每次都扔给几十亿参数的自回归大模型，哪怕只吐一个词，也得干等几百毫秒，输出偶尔还夹带解释废话或者残缺的 JSON。 前段时间 TypeSafe 推出 Jev 专门做这类判断，单次前向几毫秒就能搞定，但目前只有云端付费 API，权重没有开放。开源社区很快做出了完整复刻，Laya 用 Apache-2.0 协议放出了全部模型权重，可以拉回本地自己跑。 这篇文章给大家简单介绍 Laya 是什么，然后介绍四步流程把它的部署跑通。指定模型、显存优化、实验仓库这些内容统一放在教程后面，不打断上手过程。文中的延迟和显存数据，都在 aarch64 架构的 GB10 算力卡（20 核 CPU，121 GB 统一内存，PyTorch 2.14.0+cu130）上测出。 01 Laya 是什么 Laya 做决策，不生成文本。Qwen、Claude、ChatGPT