⌘ K
… 读取采集状态 同步中...
雷
原文
X:Greg Brockman (@gdb)·· 25 天前AI 评分1

NVIDIA 发布 AIPerf 并演示如何在 vLLM 上规模化做 LLM 推理基准测试

AI 导读

NVIDIA 技术博客介绍 AIPerf,它是 GenAI-Perf 的完全重写继任者,采用多进程加 ZMQ 协调的架构避免客户端成为瓶颈,支持 15+ 端点类型、ShareGPT 与 Mooncake 等 trace 回放,以及 constant、Poisson、gamma 到达模式。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:X:Greg Brockman (@gdb) · developer.nvidia.com