ithome
国际
科技
采集 2026-10-15T04:15:23+00:00
阶跃Step 5 Preview大模型权重开放支持百万token上下文
原始标题:阶跃 Step 5 Preview 大模型权重开放,支持 100 万 token 上下文窗口
来源
ithome
发布时间
2026-10-15T03:22:04
采集批次
2026-10-15-04
字数
768
URL 指纹
d3b14e52fd31b1b6
📌 AI 总结(222 字)
阶跃星辰正式开源Step 5 Preview大模型权重,采用稀疏MoE架构,总参数量600B、每token激活27B,支持100万token超长上下文窗口,原生支持文本与视觉输入。该模型面向长程Agent任务设计,在OpenRouter周调用量与日调用量榜单中均位列全球第二。模型权重已上线Hugging Face和ModelScope,开发者可通过vLLM、SGLang或Transformers部署并接入自有数据与工具链,构建智能体与应用。
📄 正文(768 字)
阶跃今天正式释放Step 5 Preview权重。本次开放内容包括BF16与FP8模型权重、技术博客以及配套开源开发工具。 据官方介绍,Step 5 Preview面向长程Agent任务而设计,采用稀疏MoE架构,总参数量600B、每token激活参数仅27B,支持100万token上下文窗口,原生支持文本与视觉输入,在AI编程、软件工程、专业知识工作和金融等场景表现突出。近期,Step 5 Preview在OpenRouter周调用量、日调用量榜单中均位居全球第二。 目前,模型权重已上线Hugging Face和ModelScope,并提供面向多种芯片平台和推理框架的适配支持。开发者可以通过vLLM或SGLang部署兼容OpenAI接口的API服务,也可以使用Transformers进行离线推理,将模型接入自己的数据、工具和系统,构建智能体、应用、工作流与服务。 官方同步公开的技术博客,介绍了Step 5 Preview如何通过架构与训练的协同优化,支持更长、更复杂的Agent任务。关键设计包括: 92层窄深架构:为隐式多跳推理提供更深的计算路径,同时控制参数规模与计算成本。 Sparse GQA:通过块级索引与稀疏计算合并,降低百万token上下文的计算开销。其中,8 token块级索引可将索引与top-k选择开销降至原来的1/8。 更稳定的训练:在关键状态与参数上保留FP32精度,结合细粒度梯度裁剪,缓解深层网络中的激活异常增长与梯度尖峰。 百万级可验证环境:覆盖软件工程、科学推理、机器学习研发和专业知识工作,并持续校准任务难度、多样性与评估可靠性。 面向长程任务的强化学习:将上下文压缩纳入端到端策略训练,让Agent学习整理任务状态、继续执行;结合更精细的奖励归因,提升长轨迹的学习效果。