🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 采集 2026-11-03T04:12:59+00:00

MIT 提出权重空间编程新方法

原始标题:MIT 研究者提出「权重空间编程」:GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重,数学成绩提升至原来 6 倍

来源
ithome
发布时间
2026-11-03T02:00:55
采集批次
2026-11-03-04
字数
847
URL 指纹
4891b0d4fe038aca

📌 AI 总结(186 字)

麻省理工学院研究团队提出「权重空间编程」,让 GPT-6 Astra 直接读取并修改通义千问 Qwen3.5-0.8B 的少量权重,以解决模型反复生成、推理耗尽长度等问题。仅调整约 0.016% 的参数后,模型在 MATH-500 成绩由 7.9% 升至 48.1%,GSM8K 由 13.8% 升至 67.1%,但该方法更能消除既有障碍,未必能创造模型原本不具备的能力。
📄 正文(847 字)
麻省理工学院计算机科学与人工智能实验室研究人员提出「权重空间编程」方法,让大语言模型直接分析并修改另一个神经网络的权重,而非依赖梯度下降、反向传播和传统训练循环。

实验采用阿里云通义千问 Qwen3.5-0.8B。GPT-6 Astra 先定位模型在数学推理中反复生成相同内容的问题,发现大量回答会耗尽 32768 个 Token 的长度限制,最初 96 次测试回答中有 85 次触及上限。

研究人员向 Astra 提供可读取、修改权重的 Python 环境,并允许其使用 GSM8K 和 MATH 训练集题目进行有限次数的前向推理。Astra 随后定位到第 15 层和第 19 层多层感知机写入的重复方向,通过削弱相关信号抑制推理循环。

最终,模型共修改 131072 个权重,占约 8 亿个参数的 0.016%。在允许最多 50 轮前向推理的实验中,MATH-500 成绩从 7.9% 提升至 48.1%,达到原来的约 6.1 倍;GSM8K 成绩从 13.8% 提升至 67.1%;IFEval 指令遵循成绩从 21.0% 提升至 62.3%。数学测试中因回答长度达到上限而未完成的比例,也从 93% 降至 33.1%。

这种过程并非完全没有计算。Astra 使用 Python 分析和修改权重,也进行了最多 50 轮前向推理,但没有采用梯度下降、反向传播或传统训练循环更新参数。

研究团队还使用 Gemma 3 270M 进行对照实验。由于该模型很少出现推理循环,局部权重修改未能显著提升其数学能力,MATH-500 成绩最多从 6.8% 升至 7.7%。研究人员据此认为,权重空间编程主要帮助模型消除既有能力发挥时遇到的障碍,并不一定能凭空创造原本不具备的能力。

研究还探索了让 GPT-6 Astra 仅通过读取权重识别模型训练过的游戏、判断小型语言模型的训练语言,以及直接编写可运行游戏的神经网络。研究人员认为,这一方法可能为神经网络可解释性研究和模型优化提供新路径。