英伟达当地时间周一宣布，Groq 3 LPX机架已进入全面量产阶段，这标志着该公司史上最大规模收购所获得的技术正式实现商业化。

英伟达高级总监迪翁·哈里斯告诉记者，Groq机架将与Vera中央处理器和Rubin图形处理器一起部署在新型云服务商Nebius的平台，并将于今年晚些时候上线。

英伟达正在加速生产Groq芯片并向客户提供该产品，这凸显出低延迟推理的重要性日益提升。低延迟推理对于让人工智能智能体能够快速响应、避免用户遭遇长时间等待至关重要，尤其是在编程场景中。英伟达表示，云计算公司可以针对这类Token收取更高的费用。

哈里斯表示：「对于那些提供Token服务的人来说，这让他们能够为那些真正要求对延迟高度敏感的服务协议的用户和客户，提供高级服务等级。」

去年12月，英伟达以200亿美元收购了芯片初创公司Groq的相关资产，这是该公司有史以来规模最大的一笔收购。

Groq的架构在芯片裸片本身集成了500MB高速SRAM，以减少与内存相关的瓶颈。Groq芯片由三星制造，而英伟达的GPU则由台积电生产。

英伟达将256颗独立的Groq 3芯片封装到其LPX机架中。英伟达表示，根据Artificial Analysis的一项基准测试，其Groq 3 LPX机架能够达到每秒3400个Token的处理速度。

这是一个竞争激烈的领域。今年早些时候，AMD宣布将把其机架级系统与Cerebras的芯片进行整合。Cerebras最近上市，并将低延迟推理作为重点。OpenAI新近宣布的「Ultrafast」模式目前承诺可达到每秒750个Token，并由Cerebras提供支持。

低延迟芯片并不会取代GPU，后者仍然是AI芯片领域的主力。GPU既可以执行训练，也可以执行推理，同时具备足够的灵活性，能够适应新技术和新模型。Groq这类低延迟芯片主要专注于模型服务过程中的一个环节，即所谓的「解码」（decode）阶段。

哈里斯表示：「这并不是要取代GPU，而是要针对工作负载的不同部分，使用价格合适、处理能力合适的处理器。」

目前，英伟达正在逐步增加Vera Rubin系统的出货量，该系统已于今年早些时候开始生产。在3月份发布Vera Rubin和Groq 3 LPX时，英伟达首席执行官黄仁勋预计，到2027年，当前一代Blackwell芯片与全新Vera Rubin系统的累计销售额将达到1万亿美元。

黄仁勋当时表示，他计划将数据中心中用于编程应用的空间的四分之一分配给Groq芯片。黄仁勋说：「我的数据中心其余部分将全部采用Vera Rubin。」