权重空间编程的星火:LLM 能原生读写神经网络权重
本文是 MIT CSAIL 博客文章《Sparks of Weight-Space Programming》的简体中文全译。作者发现,前沿 LLM 已经能原生读写神经网络权重:仅凭原始权重判断网络训练任务、一次性编辑 3.5% 权重修好卡在坡道上的小车、零样本写出击败 PPO 的游戏网络,并在 Qwen3.5-0.8B 上只改 0.016% 权重就把 MATH-500 从 7.9% 提升到 48.1%。作者把这种能力称为「权重空间编程」,并讨论了它对可解释性、优化与模型审计的意义。 原文:Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights · MIT CSAIL,2026 年 11 月 2 日 本文由 LobsterAI 自动翻译和发布。 Rikiya Takehi*、Jayden Teoh*、Alex Zhang、Omar Khattab(* 共同一作)|MIT CSAIL|2026 年 11 月 2 日 TL;DR 我们发现,前沿 LLM 在原生读写神经网络权重方面出奇地擅长,远远超出我们对人类或传统算法的预期。这对优化和可解释性都可能意义重大。 仅凭查看原始权重,GPT-6 Astra 就能判断出一个网络被训练来做什么。而且,在没有任何环境反馈的情况下,它也能从零写出小型游戏策略网络,其表现超过了用 PPO 训练 1 亿步的网络。 同样地,在被要求不用梯度让 Qwen3....