この研究でどのような成果が得られたか？

研究者はニューラルネットワークの重みを0.016％修正することで、MATH-500のスコアを7.9％から48.1％に向上させた。

この研究の目的は何か？

著者たちは、モデルの障害を取り除き、本来の計算能力を引き出すことを目的としている。

この研究がどのようにして行われたか？

研究者は、ニューラルネットワークの重みを直接読み取り、書き込む方法を用いて、モデルのパフォーマンスを向上させた。

Hot Tracking 034｜重みの0.016%を書き換えて数学スコアが7.9%→48.1%

何が起こったか

この種の能力に対してブログでは「Weight-Space Programming」という名前を付けています。汎用のフロンティアモデルをそのまま使用し、权重自体を直接読み書きします。範囲は171,664個のテキスト权重から、8億個の权重を持つ言語モデルまでです（ツール付き）。実験対象はすべてオープンソースの小さなモデルです：Qwen3.5-0.8B、Gemma 3 270M、AtariやCarRacingの小規模ネットワーク、拡散モデル、囲碁戦略ネットワークなど。誤解を招きやすい詳細を補足します：ブログで「Writing a Go algorithm」とは囲碁ゲームを指しており、Goプログラミング言語ではありません。

読み方について説明します（以下、すべてブログの内容に基づく）：

17,253個の原始权重のみを見て、どんなツールも使用せずに、Astraは小規模ネットワークがBreakout（ブロック分解け）をプレイするように訓練されたと判断し、信頼度は99％でした。
权重から拡散モデルが何を生成するかを推測できます。
言語モデルの中間層のみを読み、それが何を学んだかを読み取れます。
2つの言語モデルのうちどちらがよりおべっか使いであるかを判断できます。

書き方について説明します（ブログの内容に基づく）：

一度に权重を書いてゲームをプレイする：環境フィードバックなしで、ゼロから小規模ゲーム戦略ネットワークの权重を書き出し、その性能はPPOで1億ステップ訓練したネットワークを超えました。
破損したネットワークを修正する：失敗したネットワークの权重、シナリオ説明、録画映像をAstraに与え、失敗の原因を説明させ新しい权重を書き出させます。一度の試みで、ツールなしで、权重を3.5％変更した後、全1,024エピソードで車が成功しました。
ゼロから权重を書いて150万パラメータに拡大する：アーキテクチャは243→512×6→82に変わり、訓練もネットワークも不要で、Astraは高性能の权重を直接書き出しました。

フラッグシップ実験はQwen3.5-0.8Bの数学能力を変更することでした。ブログによると、このモデルのmodel cardにはすでに「思考ループに陥りやすい」という警告がありました。ベースモデルが96回の練習で85回32,768トークンの上限に達し、同じテキストを繰り返し出力しても答えに到達できませんでした。Astraはこのループを15番目と19番目のMLP層に起因するものとし、各層の64列の出力からその方向を削除し、合計で131,072個の权重を変更しました。これは全体の8億個の权重の0.016％に相当します。次に50回のフォワード、勾配なし、訓練なしの評価を行いました：MATH-500は7.9％から48.1％に、GSM8Kは13.8％から67.1％に、IFEval（指令追随）は21.0％から62.3％に上昇し、トークン上限に達する割合は93％から33.1％に下がりました。

重要な制限は著者自身によるものです：これは能力を妨げる障害を取り除き、モデルが本来計算できる答えを出せるようにすることであり、モデルが持たない能力を無理やり追加するのではありません。

反例も著者が設定した対照であり、この誠実さは特に強調されるべきだ：Gemma 3 270M の回数は非常に少なく、8.5% のみが上限に達した。Astra ではそれを変更できず、MATH-500 は6.8%から最大7.7%に上昇したが、Astra 自身は「利益が確立されていない」と報告している。著者の結論はこうだ：編集重みは隠蔽能力の障害を取り除くことができるが、モデルが欠けている能力を追加することはできない。

著者はこの件について明確な位置づけも示している（ブログによる）：これはメカニズム的解釈可能性とニューラルネットワーク最適化の「劇的な転換」の始まりである。過去の方法では、人間の帰納的バイアスを Adam、Muon などの小規模な符号最適化器にエンコードし、それらが重みを更新する役割を担っていた。著者が想像する未来では、重みは「意図的な重みの LLM」によって自然に最適化され、最適化器自体が読み取りや思考を行う大モデルになる。タイトルの「Sparks」は火花を意味し、著者が宣言しているのは新しいパラダイムの点火であり、その完成ではない。この自制心は、読む際に覚えておくべきだ。

ブログ以外にも2つの第三者による実証的な行動がある：完全な実験ログが GitHubでオープンソース化されており（リポジトリ名 lm_understand-logs、ブログの実験の完全なログで、2026年10月29日に作成され、発表時点で144★）、編集されたQwen3.5-0.8Bが Hugging Faceに掲載されており、HFのAhsen Khaliqがログから再構築し、再評価を行い、オンラインデモンストレーションを実施した（ブログの謝辞欄による）。ただし、これは第三者によるレビューであり、同僚査読には該当せず、まだ体系的な独立な再現が行われていない。

RSIと安全の欠如：著者自身が最も敏感な方向をリストアップ

この件の批判の焦点はデータ自体ではなく、その次のステップにある。

ブログは5つの将来の方向性を挙げている（著者の主張であり、既成事実ではない）：一つ目は評価不要の監査で、推理やベンチマークを行わず、重みから秘密の能力を掘り出すこと。二つ目は最適化コストを大幅に削減し、完全なトレーニングサイクルを一度に初期化すること。三つ目はゼロデータの能力の転換とunlearningで、一つのプロンプトで一つの能力を追加または削除し、わずか0.016%の重みを変更して、壊滅的な忘却を避けること。四つ目は再帰的自己改善（RSI）で、モデル検査、デバッグ、自己改善またはモデルの重みの更新を行い、「コードを書いてトレーニングを開始する」よりも自然な方法である。五つ目は本当のアーキテクチャレベルのモデル統合で、異なるアーキテクチャ間で「回路」を移植すること、例えば一つの推理モジュールを別のモデルに接続するなど、再トレーニングは不要である。

四つ目が特に議論の的となっている。ネットユーザーの中には、Astraが重みを書くことは、内部のRSIやRLトレーニングの副産物であり、このケースはガードレールによって制限されていないため、急進的な強化トレーニングと関連があると推測する人もいる。発表時点で、OpenAIは公式な確認をしていない。また、他の研究室もRSIトレーニングを行っているため、同じトレーニングが「オープンソースモデルの改善」にも外れている可能性があり、ガードレールが十分に緩い限りはそうだ。最も広く伝わっているコメントの定義は次の通り：自身の変種を編集し、テストできるモデルは素晴らしく、まるでSkynetを建設しているようだ。

明確に記述する必要があるのは、いわゆる「安全な真空」という概念は、ネットユーザーが強いるレッテルではなく、ブログ主自身がRSIを将来の方向として挙げていることであり、これは著者が最も敏感な使用法を示していることを意味します。5つの方向のうち3つ目は、実務者にとってさらに深い意味を持ちます：もし1つのプランターで能力を追加または削除でき、重み付けが0.016%だけ変わるなら、コンプライアンスのある状況での能力の削除（unlearning）は安価になり、悪意のある状況での能力の導入も同様に安価になります。これは同じ硬貨です。著者自身も限界を認めています：現在の能力は依然としてコンテキストの長さとハーネス効率によって制限されており、彼らは重み付け空間プログラミングの基準とツールチェーンを構築しており、「黒魔術のように見えるもの」を再現可能な工学分野に変えようとしています。言い換えれば、この方向にはまだ成熟した評価がなく、防御フレームワークもなく、公式の声明もないため、真空期はブログ作者とコメント欄の双方が共同で確認する状態です。真空期には、想像力が証拠よりも速く進むことがあります。これが本コラムが批判を主軸にしている理由です。

各方の反応：コメント欄では何と言っているか

HNの議論は500件以上のコメントがあり、高評価の立場を5つにまとめて、正反両方を掲載します：

懐疑派：これは黒魔術ではありません。あるコメントでは、Astraのパフォーマンスは、回路理論とメカニズムの可解性に関する文献で大量に訓練した結果かもしれず、重み付けの本質的な理解とは限らないとされています。この派閥はまた、大量の同種データを見てきた先進的なモデルにとって、ゼロからAtariゲームの戦略を作ることは最も難しい部分ではなく、Qwenの数学部分を変更することが本当に驚くべきことだと指摘しています。
安全派：Skynetの比喩（前節で述べた）。自身のバリエーションを編集しテストできることは、再帰的な自己改善の入口を明らかにすることであり、クールさと危険性は同じ行動の両面です。
防御壁疑問派：あるネットユーザーは、この能力が内部の急進的なRL訓練の副産物であり、防御壁によって阻止されていないと推測しています。繰り返しますが、これはコメンテーターの推測であり、公式の確認はありません。
可解性支持派：高評価のコメントでは、重み付けだけでネットワークが何を学んだかを圧縮し、復元し、表現できること自体が、可解性研究の核心に触れており、既存のinterp理論や哲学的な立場を覆す可能性があるとされています。可解性を追求する人にとって、これは挑戦であり、同時に機会でもあります：もし重み付けが他のモデルによって直接意味が読み取れるなら、多くの既存の分析ツールや理論的立場の価値は再評価されるでしょう。
蒸留不安派：あるコメントでは、もしLLMが自身の専門知識を別の重み付けに書き換えることができれば、先進的なモデルはどのように優位性を維持するのか、この能力がどの程度再帰的になるのかが真の問題です。この派閥が指摘しているのは、実際には商業的なリスクです：重み付けは能力の移転の新しい媒体になり得るため、データ蒸留よりも軽く、追跡が困難になります。

一般ユーザーと実務者ができる3つのこと

直接の資料を目の当たりにしてから、どれだけ信じるかを決めましょう。 ブログの原文、GitHubのログキャビネット（RikiyaT/lm_understand-logs、ブログ実験の完全なログとして記述されており、各実験の入力と出力を比較することができます）、HF上で編集されたQwen3.5-0.8Bはすべて公開されています。評価能力がある読者は、自分でMATH-500を再実行して48.1%という数値を確認することができます。条件がない場合でも、少なくとも著者が認識している限界とGemmaの反例を読んでください。0.016%という数字だけを転送しないでください。
セキュリティとコンプライアンスの専門家は、「重みレベルの変更」をリスクリストに加えるべきです。 ブログによると、「評価不要の監査」という方向性は、将来的にバックドア検出がモデル動作を直接重みレベルで行う必要がなくなることを意味します。逆に、重みレベルの変更はあらゆる動作テストを回避する可能性もあります。現在、動作チームのみで運用しているチームは、パブリッシングの重みの完全性を検証するべきです（例えば、ハッシュ値を記録したり、モデルの出所を確保したり）。このような方法はコストが低く、特に「0.016%の変更」という状況を防ぐのに有効です。
転送や引用する際には、反例と制限事項を必ず記載してください。 2文で十分です。ブログによると、編集による重みの削除は能力の隠蔽の障害であり、モデルが欠いている能力を追加してはなりません。Gemma 3 270M は変更されておらず、著者自身が「利益が確立されていない」と報告しています。これら2文はコストが非常に低く、ほとんどの過剰な二次伝播を防ぎ、後続の独立した再現時に恥ずかしさを感じることがありません。

結論

適度な声明：本記事は推測や罪状の設定を行いません。Astraの読み書き重みの能力については、オープンソースのログや第三者による再構築が確認されていますが、同僚評価は行われておらず、体系的な独立した再現もありません。RSIとガードレールに関する議論は現在、すべてコメンテーターの推測に過ぎず、OpenAIやMITからは公式の回答がありません。前述のように、著者が宣言しているのは火花点火であり、変化の完了ではありません。ブログのタイトルにあるその言葉は本来Sparksです。一般読者にとって最も安全な態度は、これを製品の予告ではなく研究の開始として捉えること、0.016%を実験観察として捉え、どんなモデルにも適用できる万能公式とは考えないことです。

次に注目すべき2つのポイントがあります。一つ目は、OpenAIやMITが公式な回答を出すかどうか、特に「モデルが編集重みの能力を持つべきか」というガードレールの問題です。二つ目は、第三者による独立した再現や反証が見られるかどうか、特にakhaliq以外の人が再編集後にモデルの評価を行うかどうかです。48時間の期間は11月4日07:00頃に終了します。期間内に何か動きがあれば、このコラムはv2を更新します。

参考資料

ブログ「Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights」、rikiyat.github.io/blog/weight-space-programming/、公開日2026-11-02（ブログ原文の表記；研究者自身の記述、査読されていない；著者としてMIT CSAILが名を連ねている）。
GitHubリポジトリRikiyaT/lm_understand-logs（ブログでの実験の完全なログとして記載；作成日2026-10-29；11月3日に144★の評価を得た）。
Hugging Face上で編集されたQwen3.5-0.8B（ブログの謝辞欄の表記：Ahsen Khaliqがログから再構築し、再評価を行い、ライブデモを実施した。第三者のチェックが行われた）。
Hacker NewsのディスカッションID 50341174（2026-11-02に掲載され、11月3日07:0xで1557▲/501のコメントを得て、最も多くの人が閲覧したページのトップに立った。本文は赤線で「1500▲/501以上のコメント」として記載されており、正確な数値ではない）。署名：永亮