⌘ K
… 读取采集状态 同步中...
雷
原文
MarkTechPost· Michal Sutter·· 10 天前精选AI 评分66

Prime Intellect 推出 Prime Inference 平台:面向前沿开源模型的无服务器与预留服务

Prime Intellect Launches Prime Inference: Serverless and Reserved Serving for Frontier Open Models

AI 导读

Prime Intellect 发布了 Prime Inference 平台,提供针对前沿开源模型的无服务器端点和预留容量服务,支持 OpenAI 兼容 API。

推荐理由

文章拆解了Prime Inference在GB200上的vLLM混合架构,提供了40%延迟降低等具体工程数据供部署参考。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:MarkTechPost · marktechpost.com