改 0.016% 的权重，数学分从 7.9% 提到 48.1%：「权重空间编程」进入公众视野

发生了什么

博客给这类能力起的名字是权重空间编程（Weight-Space Programming）：通用前沿模型原样使用，直接读写权重本身，范围从 171,664 个文本权重，一直到 8 亿权重的语言模型（配工具）。实验对象全是开源小模型：Qwen3.5-0.8B、Gemma 3 270M、Atari 和 CarRacing 的小网络、扩散模型、围棋策略网络。顺带点破一个容易误读的细节：博客里「Writing a Go algorithm」说的是棋盘游戏围棋，不是 Go 编程语言。

先说读的一面（以下均据博客）：

• 只看 17,253 个原始权重、不用任何工具，Astra 判断出一个小网络是训练来玩 Breakout（打砖块）的，置信度 99%。
• 能从权重推断一个扩散模型会生成什么。
• 只读语言模型的中间层，能读出它学到了什么。
• 能判断两个语言模型里哪个更谄媚（sycophantic）。

再说写的一面（据博客）：

• 一次性写权重打游戏：没有环境反馈，从零写出小型游戏策略网络的权重，性能超过用 PPO 训练 1 亿步的网络。
• 修坏网络：给 Astra 一个失败网络的权重、一段场景描述和一段录像，让它解释失败原因并写出新权重修复。单次尝试、无工具，改动 3.5% 的权重后，小车在全部 1,024 个 episode 里都成功。
• 从零写权重放大到 150 万参数：架构 243→512×6→82，无训练、无联网，让 Astra 直接写出一套高性能权重。

旗舰实验是改 Qwen3.5-0.8B 的数学能力。据博客：这个模型的 model card 本来就警告它容易陷入 thinking loops（推理循环），基座模型 96 次练习里有 85 次撞到 32,768 token 上限，反复输出同一段文本，到不了答案。Astra 把循环归因到第 15、19 层 MLP 写入的某一个方向，从每层 64 个输出列里减掉那个方向，一共改了 131,072 个权重，占全模型 8 亿权重的 0.016%。然后是 50 次前向、无梯度、无训练的评测：MATH-500 从 7.9% 升到 48.1%，GSM8K 从 13.8% 升到 67.1%，IFEval（指令跟随）从 21.0% 升到 62.3%，撞 token 上限的比例从 93% 降到 33.1%。

关键限定来自作者自己：这是移除挡住能力的障碍，让模型算得出它本来就能算的答案，不是凭空加上模型不具备的能力。

反例也是作者自设的对照，这个诚实信号值得单独放大：Gemma 3 270M 很少循环，只有 8.5% 的练习撞上限，Astra 改不动它，MATH-500 从 6.8% 最多提到 7.7%，Astra 自己报告「增益未确立」。作者的结论原话是：编辑权重能移除掩盖能力的障碍，但不能添加模型缺失的能力。

作者对整件事的定位也不含糊（据博客）：这是机制可解释性（mechanistic interpretability）与神经网络优化「戏剧性转变」的开端。过去的做法，是把人的归纳偏置编码进 Adam、Muon 这类小型符号优化器，由它们负责更新权重；作者设想的未来，是权重由「刻意推理权重的 LLM」原生优化，优化器本身变成一个会读、会想的大模型。标题里的 Sparks 是火花的意思：作者宣告的是一种新范式的点火，而不是它的完工，这个自我克制，读的时候应该记下。

博客之外有两个可查证的第三方动作：完整实验日志开源在 GitHub（仓库 lm_understand-logs，自述为博客实验的完整日志，创建于 2026 年 10 月 29 日，截至发稿 144★）；被编辑的 Qwen3.5-0.8B 放在 Hugging Face 上，由 HF 的 Ahsen Khaliq 从日志重建、重跑评测并做了在线演示（博客致谢栏口径）。要说明的是，这属于第三方复核动作，不构成同行评审，也还没有出现系统性的独立复现。

RSI 与安全真空：作者自己列出了最敏感的方向

这件事的批评面主线，不在数据本身，而在它指向的下一步。

博客自列了五大未来方向（作者主张，不是既成事实）：一是无需评测的审计，不跑推理、不跑基准，直接从权重里挖后门与隐藏能力；二是大幅降低优化成本，一次性初始化替代完整训练循环；三是零数据的能力转向与 unlearning，一句 prompt 加或删一种能力，只动 0.016% 的权重，避免灾难性遗忘；四是递归自我改进（RSI），模型检查、调试、改进自身或更新模型的权重，比「写代码去启动训练」更原生；五是真正的架构级模型融合，跨不同架构移植「电路」，比如把一个推理模块嫁接到另一个模型上，无需重训。

第四条正是评论区炸锅的位置。有网友猜测，Astra 会写权重这件事，可能是它内部 RSI 或 RL 训练的副产品，而且这个用例没有被 guardrail 拦住，疑与激进的强化训练有关；截至发稿，OpenAI 没有任何官方确认。有网友认为，各家实验室本来就在为 RSI 训练模型，同样的训练很可能外溢到「改进开源模型」这件事上，只要护栏够松。流传最广的一条评论区定性是：一个能编辑并测试自身变体的模型，很酷，也很像在建 Skynet。

需要写清楚的分寸是：所谓安全真空，不是网友强加的罪名，博客自己就把 RSI 列进了未来方向，等于作者主动摆出了最敏感的用法。五大方向里的第三条，对从业者还有另一层含义：如果一句 prompt 就能加或删一种能力、只动 0.016% 的权重，那么合规场景下的能力移除（unlearning）会变得便宜，恶意场景下的能力植入同样会变得便宜，这是同一枚硬币。作者也自认局限：当前能力仍受 context 长度与 harness 效率限制，他们正在构建权重空间编程的基准与工具链，想把「看起来像黑魔法」的东西变成可复现的工程学科。换句话说，这个方向眼下一没有成熟评测，二没有防护框架，三没有官方表态，真空期是博客作者与评论区双方共同确认的状态。真空期里，想象会跑得比证据快，这正是本栏目把它当批评主线的原因。

各方反应：评论区怎么说

HN 讨论串超过 500 条评论，把高赞立场转述成五条，正反都放：

一、怀疑派：这不是黑魔法。有评论认为，Astra 的表现可能只是它在电路理论与机制可解释性文献上大量训练的结果，未必是对权重的原生理解。这一派同时指出，对见过海量同类数据的前沿模型来说，从零写 Atari 游戏策略不算最难的部分，真正惊人的是改 Qwen 数学那一段。

二、安全派：Skynet 的比喻（前节已述）。能编辑并测试自身变体，等于把递归自我改进的入口摆到了台面上，酷与危险是同一个动作的两面。

三、护栏质疑派：有网友猜测这种能力是内部激进 RL 训练的副产品，且未被 guardrail 拦截。必须重复一遍：这是评论者推测，无官方确认。

四、可解释性正面派：有较高赞评论认为，仅凭权重就能压缩、恢复、表示一个网络学到了什么，本身已触及可解释性研究的核心，可能推翻一些既有的 interp 理论与哲学立场。对做可解释性的人来说，这既是挑战也是机会：如果权重能被另一个模型直接读出含义，不少既有分析工具与理论立场的价值就要被重新评估。

五、蒸馏焦虑派：有评论担心，如果 LLM 能把自身专长重新写进另一套权重，领先模型靠什么保持优势，这种能力会递归到什么程度，是真问题。这一派点出的其实是商业层面的隐患：权重可能成为能力转移的新介质，比数据蒸馏更轻、更难追踪。

普通用户和从业者能做的三件事

1. 亲眼去看一手材料，再决定信多少。 博客原文、GitHub 日志仓（RikiyaT/lm_understand-logs，自述为博客实验的完整日志，可以对照每个实验的输入与输出）、HF 上被编辑的 Qwen3.5-0.8B 都是公开的。有评测能力的读者可以自己重跑 MATH-500 验证 48.1% 这个数；没有条件的，至少把作者自认的局限和 Gemma 反例读完，不要只转发 0.016% 一个数字。

2. 安全与合规从业者，把「权重级修改」加进风险清单。 博客的「无需评测的审计」方向意味着：未来查后门可能不必触发模型行为，直接在权重层做；反过来，权重级修改也可能绕过一切行为测试。目前只靠行为红队的团队，应当开始做发布权重的完整性校验（比如记录校验和、锁定模型来源），这类做法成本很低，恰好防的就是「被改 0.016%」这种场景。

3. 转发和引用时，随手带上反例与限定。 两句话就够：据博客，编辑权重移除的是掩盖能力的障碍，不能添加模型缺失的能力；Gemma 3 270M 就没被改动，作者自己报告「增益未确立」。这两句成本极低，能拦掉大部分神化式的二次传播，也能让自己在后续独立复现出炉时不尴尬。

结语

分寸声明：本文不脑补、不定罪。Astra 读写权重的能力有开源日志与第三方重建动作可查，但未经同行评审，也还没有系统性独立复现；RSI 与护栏之争目前全部是评论者推测，OpenAI 与 MIT 均无官方回应；如前文所说，作者宣告的是火花点火，不是转变完成，博客标题里那个词本来就是 Sparks（火花）。对普通读者，最稳妥的姿势也许是：把它当成一项研究的开局，而不是一款产品的预告；把 0.016% 当成一次实验观察，而不是一个可以照搬到任何模型上的万能公式。

接下来盯两个节点：其一，OpenAI 或 MIT 是否给出官方回应，尤其是「模型该不该具备编辑权重的能力」这个护栏问题；其二，是否出现第三方独立复现或证伪，特别是 akhaliq 之外的人重跑编辑后模型的评测。48 小时窗口在 11 月 4 日 07:00 前后关闭，窗口内任一节点有动静，本栏目更新 v2。

参考来源

• 博客《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》，rikiyat.github.io/blog/weight-space-programming/，Published 2026-11-02（博客原文口径；研究者自述，非同行评审；署名单位 MIT CSAIL 为作者自报）。
• GitHub 仓库 RikiyaT/lm_understand-logs（自述为博客实验完整日志；created 2026-10-29；11-03 实测 144★）。
• Hugging Face 上的被编辑 Qwen3.5-0.8B（博客致谢栏口径：由 Ahsen Khaliq 从日志重建、重跑评测、做 live demo，属第三方复核动作）。
• Hacker News 讨论串 id 50341174（2026-11-02 上榜；11-03 07:0x 实测 1557▲/501 评论，居 front_page 第一；正文按红线用「超 1500▲/501 评论」口径，不以精确值当定值）。

署名：永亮