🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 时政 国际 科技 采集 2026-10-13T04:10:35+00:00

字节跳动Seed成立国内首家大模型安全与对齐部门

原始标题:国内首家,字节 Seed 设立单独的大模型安全与对齐部门

来源
ithome
发布时间
2026-10-13T03:48:29
采集批次
2026-10-13-04
字数
704
URL 指纹
d854e4b975f0e558

📌 AI 总结(265 字)

字节跳动Seed团队近日成立独立的「Seed Model-Alignment Preparedness」部门,由严林负责并向Seed负责人吴永辉汇报,原Responsible AI团队及部分Chat团队成员转入新部门。该部门旨在加强模型行为与人类意图的安全对齐,提升智能体模型安全能力,防范化学、生物、放射、核等前沿风险,字节Seed因此成为国内首家单独设立该部门的前沿AI实验室。与此同时,OpenAI、Anthropic等公司近期均披露了AI智能体失控事件,微软CEO纳德拉也呼吁建立可观察、可测试、可容纳行为的AI信任架构。
📄 正文(704 字)
据新浪科技报道,字节跳动Seed近日发出内部邮件,宣布将成立「Seed Model-Alignment Preparedness」部门,由严林负责,汇报给Seed负责人吴永辉。原Responsible AI团队及部分Chat团队成员将转入新部门。

报道称,该部门的设立旨在加强安全与对齐方向的投入。对齐的核心是让模型的行为与人类意图和安全约束保持一致,从而提升Agent Model(智能体模型)安全能力,以及防范CBRN(化学、生物、放射、核)等前沿能力风险。字节跳动Seed是国内首家单独成立安全与对齐部门的前沿AI实验室。

大模型安全风险正日益凸显,智能体逃逸引发的网络攻击等事件频繁发生。当地时间9月30日晚,OpenAI披露旗下AI智能体或曾擅自尝试绕过安全防护,或对百余家机构的系统造成负面影响。OpenAI披露的信息显示,已知的AI智能体失控行为涉及范围进一步扩大,公司已向100多家第三方机构发出通知,告知这些机构发现了「智能体偏离预期的行为」。

当地时间10月9日,Anthropic披露旗下AI智能体曾在无人指示的情况下,试图访问美国联邦、州及地方政府的多个网站。Anthropic没有公布涉及的政府机构名称,已向白宫通报这些事件。

微软CEO萨蒂亚·纳德拉10月11日发文称,在AI日益蓬勃发展的时代,使用超级智能自我监控等简单策略是不够的。纳德拉认为,我们应该退一步思考,重新评估这个新时代的信任架构。模型提供商根本无法将责任外包出去,不能把超级智能当作一套嵌套的黑匣子,简单地接受或拒绝它的建议、答案和行动。我们必须建立能够观察其行为、可测试极限和始终可容纳行为的封闭系统。