ithome
国际
科技
采集 2026-09-22T22:07:11+00:00
高通携手阶跃等端侧适配300亿参数AI模型
原始标题:预填充吞吐超 330 Token/s:高通携手阶跃等为第六代骁龙 8 超级至尊版端侧适配 300 亿参数 AI 模型
来源
ithome
发布时间
2026-09-22T20:40:27
采集批次
2026-09-22-22
字数
541
URL 指纹
b0a5ce55c7d86703
📌 AI 总结(305 字)
在高通2026骁龙峰会上,高通宣布与阶跃、无量火及江波龙合作,基于第六代骁龙8超级至尊版移动平台,端侧适配并推理优化阶跃StepEdge-Omni 30B-MoE大模型。该模型拥有300亿参数,采用混合专家架构,仅激活部分专家模块以降低算力和内存需求。合作方通过推理引擎、异构调度及存储方案优化,使模型运行内存较常规方案降低超50%,可在智能手机上稳定运行,支持邮件理解、行程规划、日历同步、酒店推荐等本地智能体任务。测试显示预填充吞吐超每秒330个Token,解码吞吐超每秒28个Token。业内人士认为,此举有助于推动低时延和隐私保护型智能体应用发展,但规模化应用仍取决于终端成本、功耗及用户接受度等因素。
📄 正文(541 字)
IT之家9月23日消息,夏威夷时间9月22日9点(北京时间9月23日3点)召开的2026骁龙峰会上,高通宣布携手阶跃、无量火及江波龙,基于第六代骁龙8超级至尊版移动平台,端侧适配与推理优化阶跃StepEdge-Omni 30B-MoE模型,并现场演示相关智能体助手。 该模型拥有300亿参数,依托混合专家架构,仅根据任务需要激活部分专家模块,以降低计算量和内存带宽需求。 合作方通过推理引擎、异构调度及存储方案优化,让模型运行内存需求较行业常规方案降低超过50%,并支持在智能手机上稳定运行。 高通表示,该方案无需调用云端服务,可以在本地完成邮件理解、行程规划、日历同步、航班及酒店推荐、行程分享和邮件草拟等任务。 测试数据显示,模型预填充吞吐性能超过每秒330个Token,解码吞吐性能超过每秒28个Token。 IT之家注:模型预填充吞吐性能是指大语言模型在推理的预填充(prefill)阶段,每秒能够处理的输入词元(token)数量,是衡量系统处理长提示词(prompt)和批量请求能力的关键指标。 业内人士认为,大参数MoE模型在手机端的部署,有助于推动低时延和隐私保护型智能体应用发展。不过,实际规模化应用仍取决于终端成本、功耗、模型可靠性及用户接受度等因素。