⌘ K
… 读取采集状态 同步中...
雷
原文
Google AI Developers Blog·· 9 天前AI 评分50

Google Cloud 将 vLLM 原生 TPU 支持集成至 GKE,实现 Qwen3 Embedding 模型的高精度长上下文推理

Enterprise-Grade Precision for Long-Context Multimodal Embedding Inference on Cloud TPU

AI 导读

Google Cloud 在 vLLM 中集成原生 TPU 支持并部署于 GKE,通过硬件安全对齐与混合 StepPool 优化,解决了 Qwen3 Embedding 模型在 TPU 上的长上下文推理瓶颈。该方案支持 15K+ 多模态 token 处理,经测试其文本嵌入输出与参考基线的余弦相似度达到 0.999,确保了跨硬件后端的高精度数值一致性。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Google AI Developers Blog · developers.googleblog.com