🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 采集 2026-10-13T04:14:41+00:00

4张9年前英伟达V100组集群AI推理跑赢2台DGX Spark

原始标题:9 年前英伟达 Tesla V100 老将再战:4 GPU 集群 AI 推理跑赢 2 台 DGX Spark

来源
ithome
发布时间
2026-10-13T01:18:41
采集批次
2026-10-13-04
字数
788
URL 指纹
172a915694a39824

📌 AI 总结(252 字)

YouTube频道Jun Yamog测试将4张2017年推出的英伟达Tesla V100老显卡通过NVLink载板组建推理集群,运行4-bit量化的Qwen3.8-Flash-Next模型。结果显示,在长提示处理测试中,V100集群比2台DGX Spark快40%,比苹果M5 Ultra芯片快230%;短提示Token生成速度达100.6 tok/s,较DGX Spark快121%。测试者认为部分差距源于Apple Silicon软件优化不足,证明老款数据中心GPU在特定推理负载中仍有较高吞吐能力。
📄 正文(788 字)
IT之家10月13日消息,YouTube频道Jun Yamog于10月12日发布视频,测试将4张Tesla V100安装于NVLink载板,在Qwen3.8-Flash-Next基准中,长提示处理速度较M5 Ultra快230%,较2台DGX Spark快40%。

IT之家查询公开资料,Tesla V100是英伟达于2017年推出的数据中心GPU,基于Volta架构,常用于AI训练与推理。其32GB版本配备HBM2显存,900GB/s显存带宽可支持大模型参数与数据的快速读取。

NVLink是英伟达的GPU高速互联技术,用于在多颗GPU之间直接传输数据。相比通过PCIe通信,NVLink可降低互联瓶颈,常用于多GPU服务器和AI计算集群。

该NVLink载板提供300GB/s带宽,并配备6条NVLink 2.0连接。为容纳4颗独立GPU,测试者改装NVIDIA A100散热器,让其可散发每颗V100约300W的功耗,并通过PCIe x8接口连接载板。

该主播使用4-bit量化的Qwen3.8-Flash-Next模型测试,对比对象包括2台配备128GB LPDDR5X统一内存的DGX Spark,以及配备M5 Ultra芯片的Mac Studio设备。

在长提示处理测试中,4颗V100较DGX Spark集群快40%,较M5 Ultra快230%。测试者指出,与Apple Silicon的差距可能部分源于软件优化不足。

在短提示处理测试中,V100集群较DGX Spark保持40%的速度优势,较M5 Ultra快163%。该结果显示,旧款数据中心GPU在特定推理负载中仍具备较高吞吐能力。

在短提示Token生成测试中,4颗V100达到100.6 tok/s,较2台DGX Spark快121%;M5 Ultra的成绩为44.5 tok/s。