ithome
科技
采集 2026-10-20T10:11:11+00:00
DeepSeek宣布全面开源内部推理框架DeepInfer
原始标题:DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,目标实现大模型普惠
来源
ithome
发布时间
2026-10-20T09:05:10
采集批次
2026-10-20-10
字数
623
URL 指纹
40e9e50ec81ff024
📌 AI 总结(199 字)
DeepSeek于10月20日官宣将内部推理框架DeepInfer全面开源,旨在帮助开发者与企业优化大规模推理的吞吐与延迟,降低算力成本与能源消耗,推动大模型普惠。该框架已支撑DeepSeek V4.1 Flash实现高吞吐低延迟服务,支持分布式推理、推测解码等功能,兼容英伟达与华为昇腾平台。同时开源的deepseek-recipe编解码组件与官方API逻辑完整对齐,确保社区获得一致的部署体验。
📄 正文(623 字)
DeepSeek 今日官宣,在此前开源一系列大模型、TileLang 编译工具及推理算子库的基础上,决定进一步将内部推理框架 DeepInfer 全面开源。 DeepSeek 官方表示,大模型的能力边界由模型本身划定,但如何以合理成本提供超大规模的模型服务,还取决于一个长期未被公众了解的中间层:推理框架。 训练使模型学有所成,推理则让模型为人所用。面对如今海量的用户调用,推理框架负责统筹调度庞大的算力集群,其效率直接决定了 AI 服务的算力成本与电力消耗。 DeepSeek 希望通过分享内部的部署经验,帮助开发者与企业组织优化大规模推理的吞吐与延迟,从而高效构建私有化及公有云部署,降低算力成本、减少能源消耗,让智能以更低的价格触达更广泛的人群,实现真正的大模型普惠。 基于 DeepInfer,DeepSeek 官方已实现 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务。未来,DeepSeek 新模型的推理代码及后续优化也将在此持续更新。 DeepInfer 推理框架:集成高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,兼容英伟达与华为昇腾平台。 deepseek-recipe 编解码组件:同步开源的生产级 Token 编解码组件,与 DeepSeek 官方 API 处理逻辑完整对齐,确保社区获得与官方部署一致的 API 体验。