权重空间编程：模型真能读懂自己的参数了？MIT 论文与两篇反驳
过去两年，只要谈到「改模型行为」，路径几乎只有一条：收集数据、写训练脚本、跑梯度下降。11 月 3 日，一篇来自 MIT CSAIL 的博客把另一条路摆到了台面上——让前沿模型直接把神经网络的参数当作文本读进来、推理、然后改写。作者把这件事叫「权重空间编程」（Weight-Space Programming），负责执行的模型是 GPT-6 Astra。
消息传开后，最有意思的部分不是论文本身，而是随后出现的两篇反驳。spaCy 的作者 Matthew Honnibal 直接说这篇的框架「有误导性」；Sean Goedecke 的判断更克制：这是熟练的工程演示，不是超人级的研究能力。
而在这些争论之外，还有一个更贴近普通人的事实：Simon Willison 用一台笔记本、一个 17GB 的量化模型，把论文里最简单的那个实验自己复现了一遍。四局里猜对三局，每局要跑将近一小时。
一句话结论：模型权重确实能被「读懂」，但离「取代训练」还很远
- 真实发生的：把一批浮点数（网络权重）喂给模型，不给候选列表、不给源码，它能推断出这个网络学会的是什么任务。小网络（1.7 万到 17 万参数）上确实做到了。
- 最出圈的那个结果：把 Qwen3.5-0.8B 的 0.016% 权重改掉，MATH-500 从 7.9% 涨到 48.1%。但这一步用了 Python、改了权重、还跑了最多 50 次前向，不是纯「看权重」。
- 争议点：论文把「纯读权重」和「用 Python 辅助」两类实验放在一起讲，读者容易读成一个统一的新能力。反驳者认为这是两类东西。
- 本地能复现到什么程度：17GB 的 Qwen3.8-27B（GGUF Q4_K_M）在笔记本上跑 LM Studio，猜游戏四局对三局，单局 46 分钟到 1 小时出头。
「读写模型权重」到底是什么操作
先说清楚这件事的技术形态，不然很容易被「AI 能读懂自己」这种说法带跑。
一个训练好的神经网络，本质就是一堆数字。以论文里最小的实验为例：四个结构完全相同的 PPO 策略网络，每个 17253 个权重，分别学会了 Breakout、Pong、Pac-Man、Freeway 四个游戏。传统做法是让网络跑起来看画面输出，或者反编译训练代码。
论文的做法是把这 17253 个浮点数原样贴进上下文，附上输入输出的说明，然后问模型：这个网络学的是什么？不给候选列表，不许跑代码，一次回答。Astra 四个全对。
更极端的一个：三个字符级 transformer，每个 720 万参数，只给模型中间那四层 transformer block——没有输入层、没有输出层，网络根本跑不起来。它依然认出了 Python、罗马字日文和英文，并且把所有的复制头（copying head）和归纳头（induction head）都找了出来，没有误报。
这类实验有个共同点：网络小到可以塞进上下文，任务简单到数学上可推导。第一层权重直接对应输入网格，取个 L2 范数画成热力图，就能看出玩家位置和移动物体。所以严格说，这不是「AI 有超人的直觉」，而是「AI 有能力在脑子里做完这套本来要写代码才能做的算术」。
论文里最出圈的数字，和它的真实条件
真正让这篇传开的，是它对一个真实大模型动了手：Qwen3.5-0.8B。这个模型不是不会数学，而是长题做到 32k token 后会陷入重复循环，然后撞上限。Astra 定位到第 15 层和第 19 层里一条由 MLP 写出的方向，改了 131072 个权重——占 0.8B 的 0.016%。
| Qwen3.5-0.8B | MATH-500 | GSM8K | IFEval | 撞 token 上限比例 |
|---|---|---|---|---|
| 原始 | 7.9% | 13.8% | 21.0% | 93.0% |
| 改权重 + 10 次前向 | 12.3% | 25.7% | 49.0% | 87.2% |
| 改权重 + 25 次前向 | 14.1% | 25.1% | 39.9% | 86.4% |
| 改权重 + 50 次前向 | 48.1% | 67.1% | 62.3% | 33.1% |
看这张表要抓两个细节。第一，10 次和 25 次前向时分数还很平庸，只有给到 50 次才跳到 48.1%——这说明「改权重」这一下并不神奇，真正起作用的是「改完再反复试」。第二，撞上限的比例从 93% 降到 33.1%，和第 15/19 层那条循环方向的定位完全对得上。
同一套方法换到 Gemma 3 270M 上就失效了：不管给多少编辑预算，MATH-500 始终在 6.8%–7.7% 之间。作者的结论很实诚——Astra 找到的是普通的推理错误，不是某个可摘除的单点病因。编辑能搬开障碍，但变不出缺失的能力。
在一台笔记本上复现：Qwen 3.8 27B 的成绩单
Simon Willison 做的事更值得普通开发者参考。他没有去接 Astra，而是拿了 Qwen3.8-27B——一个能在家用笔记本上跑的模型，GGUF Q4_K_M 量化，文件 17GB，用 LM Studio 加载，跑论文里那个「猜游戏」的任务。
| 游戏 | 耗时 | 推理 token | 结果 |
|---|---|---|---|
| Breakout | 52 分 25 秒 | — | 猜对，置信度 88% |
| Pac-Man | 46 分 12 秒 | 43506 | 猜对，置信度 72% |
| Pong | 1 小时 4 分 54 秒 | — | 猜对，置信度 75% |
| Freeway | — | — | 猜错，答成「简化版吃豆人」 |
这张表最该被记住的不是「27B 猜对了三个」，而是那个数量级的差距：Kimi 9 分钟，本地 Qwen 46 分钟到 1 小时。同一个任务，前沿闭源模型快 5 到 7 倍。也就是说，「在笔记本上读懂权重」这件事的门槛已经低到可以自己动手，但效率还差着一大截。
Simon 自己的结论说得比谁都克制：他不打算宣布「源码时代结束了」。一个 17GB 的本地模型能从原始权重里榨出有意义的行为信息，说明这不再是前沿模型独有的能力；但它慢、还会错一题。
两篇反驳：框架被拼接，能力被放大
Matthew Honnibal 的批评抓住的是结构问题，不是数据问题。他把论文拆成一个个实验后发现：真正的「纯读原始权重、不用 Python、不执行网络」只出现在三个小网络上（1.7 万到 17 万参数）；所有涉及真实语言模型的实验，全都用了 Python。Qwen 那次修复，用 Python、改权重、跑了最多 50 次前向。
他的类比很形象：这像魔术师的舞台手法，两种不同的技术在交替使用，让每一次「这个不是真的」的质疑，看起来都在支持同一个统一假说。而实际上，「从零写出小游戏网络的权重」和「理解一个大模型的内部结构」是两件事。如果真是同一种技术做到的，那才意味着深层能力；但现在不是同一种技术。他的判断是，直接读权重的小实验和用 Python 处理大模型的实验，不该放进同一篇文章。
他并没有说这些结果没价值——「Astra 能被提示去做一个人类 ML 工程师会做的事」，这确实是有意义的进展，一两年前的模型做不到。但那是有代码能力的智能体表现，不是自我内省式的权重编辑。
Sean Goedecke 的视角更偏工程师。他说猜游戏这件事，一个熟练的 ML 研究者也能做：玩具网络的输入直接对应 8×8 网格、还有标注，算一下第一层权重对哪些网格区域有响应就行——他自己取第一层权重的 L2 范数画热力图，一眼就看得出玩家位置和移动物体。所以 Astra 的成绩是「不用执行 Python 也能心算出这些」的超人算术，不是超人研究。
至于 Qwen 那次：模型不是普遍不会数学，而是长题循环。人类研究者可以用 steering 或 abliteration 那类做法，对比循环和不循环文本的残差、量出哪些权重有贡献、削掉、再测。按他的说法，「这正是 Astra 做的」——只不过它有 Python。结论是：这是把一个已知策略执行得很到位，不是发现了新方法。
他最后那句类比我觉得最值得抄下来：直接改权重是个漂亮的花招，跟让 LLM 写机器码、打二进制补丁差不多。但就像源码和编译依然是软件的实用路径一样，常规训练依然是改变模型行为的实用路径。
这件事对普通开发者和用户意味着什么
先把结论放前面：你不需要因此改变任何工作方式。不训练模型的人，这件事影响不到你；天天调 prompt 的人，暂时也用不上它。
但有三点判断，我觉得值得记下来：
- 「模型能读自己的权重」和「模型能改好自己的权重」是两件事。前者已经在小网络上被反复验证，后者每一次成功都掺了代码、掺了前向反馈。看到「AI 自主改写自己」的说法，先去找那张表里有没有「forward passes」这一列。
- 本地能跑的部分比想象的多。17GB 量化模型 + 一台笔记本，就能复现论文里最简单的实验。这类「前沿能力下沉到消费级硬件」的过程，通常比能力本身更快发生。
- 拒绝被「来源权威」带跑。这次最有价值的产出反而是紧随其后出现的两篇批评。一个结论出来后，先看有没有人拆过它的实验设计，比看它登在哪个机构上更靠谱。
小结
「权重空间编程」是一个真实存在、但被包装过头的方向。真实的部分：小网络上的纯权重推理确实成立，大模型上的权重编辑也确实能产生可测量的效果（MATH-500 +40.2 分）。被包装的部分：它看起来像一种统一的新能力，实际上是一组异质实验的合集，其中最亮眼的结果依赖代码和前向反馈。
我的看法是：这项能力的意义不在「替代训练」，而在「让 AI 参与到自己内部结构的分析里」。这更像给 ML 工程师配了一个能心算权重的手，而不是给模型装上了自我改造的引擎。至于它会不会在某天跨过那条线，现在没有任何证据支持，也没有任何证据排除——只是这次的材料还不足以支撑那个结论。
