⌘ K
… 读取采集状态 同步中...
雷
原文
X:Greg Brockman (@gdb)·· 22 天前AI 评分1

NVIDIA Dynamo-Triton 26.07 支持 TensorRT 多 GPU 推理,Cosmos 3 Nano 八卡生成延迟降至 34 秒

AI 导读

NVIDIA Dynamo-Triton(原 Triton Inference Server)26.07 启用 TensorRT 多设备推理,单个模型端点可通过 gRPC 调用跨多 GPU 执行,客户端无需自行协调 GPU rank。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:X:Greg Brockman (@gdb) · developer.nvidia.com