⌘ K
… 读取采集状态 同步中...
雷
原文
NVIDIA Generative AI Blog· Tanya Lenz·· 21 天前AI 评分28

NVIDIA TensorRT 多设备集成简化多 GPU 模型服务

Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton

AI 导读

NVIDIA 推出 TensorRT 多设备推理功能,支持单个网络通过 NCCL 分布式集合通信跨多 GPU 执行并保留优化。该功能在 TensorRT 11.0 中获得完全支持,结合 NVIDIA Dynamo-Triton 可简化生成式 AI 的模型服务流程。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:NVIDIA Generative AI Blog · developer.nvidia.com