Hot Tracking 034 | 0,016 % Gewichte: 7,9 % auf 48,1 % in Mathe

Was passiert

Der Blog bezeichnet diese Fähigkeit als Gewichtsspace-Programmierung: Die universellen Frontier-Modelle werden direkt verwendet, um die Gewichte selbst zu lesen und zu schreiben. Der Bereich reicht von 171.664 Textgewichten bis hin zu einer Sprachmodell-Länge von 800 Millionen Gewichten (mit entsprechenden Tools). Die Versuchsobjekte sind alle offene kleine Modelle: Qwen3.5-0.8B, Gemma 3 mit 270 Mio., kleine Netzwerke von Atari und CarRacing, Diffusion-Modelle sowie Go-Strategiemodelle. Einen möglichen Missverständnis aufklärend: In dem Blog wird „Writing a Go algorithm“ als Go-Spiel Go bezeichnet, nicht als Go-Programmiersprache.

Zuerst die Leserseite (alle Zitate stammen vom Blog):

• Mit nur 17.253 Originalgewichten und ohne jegliche Tools konnte Astra bestimmen, dass ein kleines Netzwerk für das Spiel Breakout trainiert wurde, mit einer Zuverlässigkeit von 99%.
• Man kann aus den Gewichten erkennen, was ein Diffusion-Modell generieren wird.
• Indem man die Mittelklasse eines Sprachmodells nur lesen kann, kann man herausfinden, was es gelernt hat.
• Es ist möglich, zu beurteilen, welches der beiden Sprachmodelle eher schmeichelhaft ist (sycophantic).

Dann die Schreibseite (aus dem Blog):

• Schreiben von Gewichten für das Spielen: Ohne Umgebungsfeedback werden die Gewichte eines kleinen Spielstrategiemodells von Null aus geschrieben, wobei die Leistung übertrifft, die mit PPO nach 100 Millionen Schritten erzielt wird.
• Reparieren des beschädigten Netzwerks: Geben Sie Astra die Gewichte eines fehlgeschlagenen Netzwerks, eine Szenariobeschreibung und ein Video, damit es die Gründe für den Fehler erklärt und neue Gewichte schreibt, um das Problem zu beheben. Bei einer einzigen Versuchung, ohne Tools und mit nur 3,5% Gewichtsoptimierungen, gelingt es dem Modell in allen 1.024 Episoden erfolgreich.
• Schreiben von Gewichten von Null aus bis zu 1,5 Millionen Parametern: Die Architektur ändert sich von 243→512×6→82, ohne Training und ohne Netzwerkverbindung, wobei Astra direkt eine Reihe hochleistungsfähiger Gewichte schreibt.

Das Flaggschiff-Experiment war die Anpassung der mathematischen Fähigkeiten von Qwen3.5-0.8B. Laut Blog war das Modelcard bereits darauf hinweisend, dass das Modell leicht in Denkkreisläufe gerät. Bei 96 Übungen stieß das Basismodell 85 Mal gegen die Obergrenze von 32.768 Token, indem es immer denselben Text ausgab und keine Lösung fand. Astra schrieb den Kreislauf auf die 15. und 19. MLP-Schicht und nahm jede Ausgabe dieser Richtung weg, sodass insgesamt 131.072 Gewichte angepasst wurden, was 0,016% der gesamten Modelllänge von 800 Millionen Gewichten entspricht. Danach folgte eine Bewertung mit 50 Vorlaufschritten, ohne Gradienten und ohne Training: MATH-500 stieg von 7,9% auf 48,1%, GSM8K von 13,8% auf 67,1%, IFeval (Anweisungsfolge) von 21,0% auf 62,3%, und der Anteil an Token, die die Obergrenze erreichten, sank von 93% auf 33,1%.

Die wesentlichen Beschränkungen stammen vom Autor selbst: Es geht darum, Hindernisse zu beseitigen, die die Fähigkeiten des Modells blockieren, damit es die Antworten berechnen kann, die es eigentlich berechnen kann, und nicht fremde Fähigkeiten hinzuzufügen, die das Modell nicht hat.

Das Gegenbeispiel ist ebenfalls eine von dem Autor eingeführte Kontrastierung. Dieses Signal der Ehrlichkeit sollte besonders hervorgehoben werden: Gemma 3 mit 270M Iterationen weist nur wenige Kreisläufe auf, und nur 8,5% der Übungen erreichen die Obergrenze. Astra kann diese nicht ändern. MATH-500 steigt von 6,8% auf bis zu 7,7%, doch Astra berichtet selbst, dass „die Verbesserung noch nicht festgestellt werden konnte“. Die Schlussfolgerung des Autors lautet: Die Bearbeitungsgewichtungen können die Barrieren für die Überdeckung der Fähigkeiten beseitigen, aber sie können keine fehlenden Fähigkeiten des Modells hinzufügen.

Die Einordnung des Autors in die Angelegenheit ist klar (laut Blog): Dies ist der Beginn einer „dramatischen Veränderung“ in der mechanistischen Interpretierbarkeit und der Optimierung von neuronalen Netzen. In der Vergangenheit wurden menschliche Induktionsbias in kleine symbolische Optimierer wie Adam und Muon kodiert, die für die Aktualisierung der Gewichtungen zuständig waren. Die Zukunft, die der Autor sich vorstellt, ist, dass die Gewichtungen von „LLMs, die bewusst Gewichtungen optimieren“, nativ optimiert werden, wobei der Optimierer selbst zu einem großen Modell wird, das lesen und denken kann. Der Titel „Sparks“ bedeutet Funken: Der Autor verkündet die Eröffnung eines neuen Paradigmas, nicht dessen Fertigstellung. Diese Selbstkontrolle sollte beim Lesen beachtet werden.

Außerhalb des Blogs gibt es zwei nachweisbare Dritteinschreiberaktionen: Die vollständigen Experimente sind auf GitHub öffentlich zugänglich (Repository lm_understand-logs, enthält den vollständigen Log von den Experimenten des Blogs, erstellt am 29. Oktober 2026, Stand der Veröffentlichung: 144★); das bearbeitete Qwen3.5-0.8B ist auf Hugging Face platziert, wo es von Ahsen Khaliq aus dem Log rekonstruiert, erneut getestet und online demonstriert wurde (mit Danksagung des Blogs). Es sei erwähnt, dass dies eine Dritteinschreiberprüfung ist, die keine Peer-Review darstellt, und es gibt noch keine systematische unabhängige Wiederholung.

RSI und Sicherheitslücke: Der Autor hat die sensibelsten Bereiche aufgelistet

Die Hauptkritikpunkte dieses Projekts liegen nicht im Daten selbst, sondern in dem nächsten Schritt, den es vorsieht.

Der Blog listet fünf zukünftige Richtungen auf (die Autor vertritt sie, aber sie sind noch keine Tatsachen): Erstens die Überprüfung ohne Testen, ohne Rechen und Benchmarking, indem man direkt in den Gewichtungen Hintertüren und versteckte Fähigkeiten findet; zweitens eine erhebliche Reduzierung der Optimierungskosten, durch eine einmalige Initialisierung anstelle eines vollständigen Trainingszyklus; drittens die Übertragung von Fähigkeiten auf Null-Daten und Unlearning, indem man mit einem einzigen Prompt eine oder mehrere Fähigkeiten hinzufügt oder entfernt, wobei nur 0,016% der Gewichtungen verändert werden, um katastrophale Vergessen zu vermeiden; viertens die rekursive Selbstverbesserung (RSI), bei der das Modell Überprüfungen durchführt, Fehler behebt, sich selbst verbessert oder die Gewichtungen des Modells aktualisiert, was natürlicher ist als „Code schreiben, um das Training zu starten“; fünftens die echte Architekturaufwand für Modellfusion, bei der „Schaltkreise“ zwischen verschiedenen Architekturen übertragen werden, wie zum Beispiel ein Rechenmodul auf ein anderes Modell zu übertragen, ohne neu trainiert zu werden.

Die vierte Richtung ist genau der Punkt, um den sich die Kommentare stritten. Einige Nutzer vermuten, dass Astras Fähigkeit, Gewichtungen zu schreiben, möglicherweise ein Nebenprodukt seiner internen RSI- oder RL-Trainings ist und dass dieser Fall nicht durch Sicherheitsmaßnahmen eingeschränkt wurde, was mit radikalem Verstärkungstraining zusammenhängt; bis zur Veröffentlichung gab OpenAI keine offizielle Bestätigung. Andere Nutzer glauben, dass die Labore bereits RSI-Modelle trainieren und dass dasselbe Training möglicherweise auf die „Verbesserung von Open-Source-Modellen“ übertragen wird, sofern die Sicherheitsmaßnahmen locker genug sind. Die weit verbreitetste Kommentardefinition lautet: Ein Modell, das seine eigenen Varianten bearbeiten und testen kann, ist cool und ähnelt einer Skynet-Entwicklung.

Es ist wichtig, klar zu machen: Das sogenannte „sichere Vakuum“ ist keine Schuld, die von Internetnutzern auferlegt wird. Der Blog hat selbst RSI in seine zukünftige Ausrichtung aufgenommen, was dem Autor gleichbedeutend damit ist, den sensibelsten Einsatz zu zeigen. Die dritte der fünf Hauptrichtungen hat für die Praktiker noch eine weitere Bedeutung: Wenn ein Prompt eine Fähigkeit hinzufügen oder entfernen kann, mit nur 0,016% der Gewichtung, dann wird die Entfernung von Fähigkeiten in konformen Szenarien (unlearning) einfach, genauso wie die Einführung von Fähigkeiten in bösartigen Szenarien. Das ist dasselbe. Der Autor erkennt auch seine Grenzen an: Die aktuellen Fähigkeiten sind noch durch die Länge des Kontexts und die Effizienz der Nutzung eingeschränkt. Sie bauen eine Benchmark- und Werkzeugkette für die Programmierung des Gewichtungsraums auf, um Dinge, die „wie Schwarze Magie“ erscheinen, in wiederholbare technische Disziplinen zu verwandeln. Mit anderen Worten, ohne eine reife Bewertung, ohne einen Schutzrahmen und ohne offizielle Stellungnahme ist das Vakuum ein Zustand, den sowohl der Blogautor als auch die Kommentatoren gemeinsam bestätigen müssen. In diesem Vakuum kann die Vorstellung schneller sein als die Beweise, und genau deshalb setzt dieser Blog diese Kritik als Hauptthema.

Reaktionen von allen Seiten: Was sagen die Kommentare

Die Diskussion auf HN umfasst mehr als 500 Kommentare. Hier sind fünf der beliebtesten Positionen zusammengefasst, sowohl positiv als auch negativ:

1. Skeptiker: Das ist keine Schwarze Magie. Einige Kommentare gehen davon aus, dass die Leistung von Astra lediglich das Ergebnis seiner intensiven Trainings in der Theorie und Mechanismusverständlichkeit ist und nicht unbedingt eine native Verständnisform der Gewichtungen darstellt. Diese Gruppe weist auch darauf hin, dass für fortschrittliche Modelle, die mit großen Mengen an ähnlichen Daten arbeiten, das Erstellen einer Atari-Spielstrategie von Null aus nicht das Schwierigste ist. Das Erschreckende ist eher der Teil, der Qwen Mathematik angepasst wurde.

2. Sicherheitsbefürworter: Die Metapher von Skynet (wie bereits erwähnt). In der Lage zu sein, eigene Varianten zu editieren und zu testen, bedeutet, den Eingang für rekursive Selbstverbesserung offenzulegen. Cool und gefährlich sind zwei Seiten derselben Handlung.

3. Zweifler an den Schutzmauern: Einige Nutzer vermuten, dass diese Fähigkeit ein Nebenprodukt interner radikaler RL-Trainings ist, das noch nicht durch Schutzmauern blockiert wurde. Wiederholt werden: Das sind nur Vermutungen der Kommentatoren, keine offizielle Bestätigung.

4. Positivste Erklärungsansätze: Einige der beliebtesten Kommentare gehen davon aus, dass Gewichtungen allein dazu in der Lage sind, zu erfassen, was ein Netzwerk gelernt hat, und dies bereits den Kern der Erklärungsforschung berührt. Dies könnte bestehende interp-Theorien und philosophische Positionen widerlegen. Für diejenigen, die sich mit Erklärbarkeit beschäftigen, ist das sowohl eine Herausforderung als auch eine Chance: Wenn Gewichtungen direkt von einem anderen Modell verstanden werden können, muss der Wert vieler bestehender Analysewerkzeuge und theoretischer Positionen neu bewertet werden.

5. Ängstliche蒸馏-Anhänger: Einige Kommentare befürchten, dass, wenn LLMs ihre Spezialitäten in andere Gewichtungen umschreiben können, führende Modelle nicht mehr in der Lage sind, ihren Vorteil zu halten. Wie weit diese Fähigkeit rekursiv gehen kann, ist eine wirkliche Frage. Diese Gruppe weist auf die kommerziellen Risiken hin: Gewichtungen könnten zu einem neuen Medium für Fähigkeitsübertragung werden, leichter und schwerer nachzuverfolgen als Data-Distillation.

Drei Dinge, die normale Nutzer und Praktiker tun können

1. Sehen Sie sich die Quellen selbst an, bevor Sie entscheiden, wie viel Sie glauben. Der Originalblogtext, die GitHub-Logbänder (RikiyaT/lm_understand-logs, die vollständigen Protokolle der Blogexperimente, die man mit den Eingaben und Ausgaben jedes Experiments vergleichen kann), sowie das in HF editierte Qwen3.5-0.8B sind öffentlich zugänglich. Leser mit Bewertungsfähigkeiten können selbst MATH-500 wieder durchlaufen lassen, um die Zahl 48,1% zu überprüfen; wer keine Möglichkeit hat, sollte zumindest die von dem Autor angedeuteten Grenzen und die Gegenbeispiele von Gemma lesen, anstatt nur die Zahl 0,016% weiterzugeben.

2. Anbieter von Sicherheits- und Compliance-Dienstleistungen sollten „Schwierige Modifikationen“ in ihre Risikoliste aufnehmen. Die Richtung der „auditfreien Bewertung“ für Blogs bedeutet, dass zukünftig die Überprüfung von Hintertüren möglicherweise nicht durch das Verhalten des Modells ausgelöst werden muss, sondern direkt in der Gewichtsschicht vorgenommen wird. Umgekehrt könnten schwierige Modifikationen auch alle Verhaltenstests umgehen. Teams, die derzeit nur auf dem Verhalten der roten Seite basieren, sollten mit der Integritätsprüfung der Veröffentlichungsgewichtungen beginnen (zum Beispiel durch Aufzeichnung von Hashwerten und Festlegen des Modellquellenstandorts). Solche Maßnahmen sind kostengünstig und schützen vor allem vor Situationen, in denen „0,016% der Gewichtung geändert werden“.

3. Beim Weitergeben und Zitieren sollten Gegenbeispiele und Einschränkungen angeben. Zwei Sätze reichen aus: Laut dem Blog sind die entfernten Gewichtungen von Editor-Werte dazu da, Hindernisse bei der Überdeckung von Fähigkeiten zu beseitigen, und keine fehlenden Fähigkeiten des Modells sollten hinzugefügt werden. Gemma 3 mit 270 M hat nicht geändert, und der Autor berichtete selbst, dass „die Vorteile noch nicht festgestellt wurden“. Diese beiden Sätze sind kostengünstig und können die meisten übertriebenen Weitergaben verhindern, während sie dem Autor später keine Peinlichkeit beim wiederholten Testen bereitet.

Schlussfolgerung

Rücksicht auf Grenzen: Dieser Artikel enthält keine Spekulationen oder Anklagen. Die Fähigkeit von Astra zur Lesereihe und zum Schreiben der Gewichtungen kann in offenen Logs und durch Drittanbieter nachverfolgt werden, aber es gibt keine kollegial bewerteten oder systematisch wiederholten Tests. Die Auseinandersetzung zwischen RSI und dem Sicherheitsnetzwerk ist derzeit nur eine Vermutung der Kommentatoren. OpenAI und MIT haben keine offiziellen Antworten gegeben. Wie bereits erwähnt, erklärt der Autor eine „Sparks-Initiierung“, nicht die Vollendung einer Veränderung. Das Wort im Titel des Blogs ist tatsächlich „Sparks“. Für normale Leser ist es vielleicht am sichersten, dies als den Beginn einer Forschungsarbeit zu betrachten, nicht als eine Vorankündigung eines Produkts; 0,016% als eine experimentelle Beobachtung zu betrachten, nicht als eine universelle Formel, die auf jedes Modell angewandt werden kann.

Als nächste beiden Punkte: Erstens, ob OpenAI oder MIT eine offizielle Antwort geben wird, insbesondere auf die Frage, ob „Modellen die Fähigkeit zur Änderung von Gewichtungen zugestehen sollten“. Zweitens, ob es Drittanbieter gibt, die unabhängige Wiederholungen oder Verifizierungen durchführen, insbesondere von Personen außerhalb von akhaliq, die das Modell nach der Bearbeitung erneut testen. Die 48-Stunden-Frist endet um 07:00 Uhr am 4. November. Wenn in dieser Zeit etwas passiert, wird diese Sektion die Version 2 aktualisieren.

Referenzquellen

• Blog „Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights“, rikiyat.github.io/blog/weight-space-programming/, Veröffentlicht am 2026-11-02 (Originaltext des Blogs; Selbstbeschreibung des Forschers, nicht peer-reviewed; Die Autorenbezeichnung MIT CSAIL wird von den Autoren selbst angegeben).
• GitHub-Repository RikiyaT/lm_understand-logs (Selbstbeschreibung als vollständiger Blog-Log; Erstellt am 2026-10-29; am 11-03 wurde eine Messung mit 144★ durchgeführt).
• Überarbeiteter Qwen3.5-0.8B auf Hugging Face (Danksagungsfeld des Blogs: Von Ahsen Khaliq aus dem Log rekonstruiert, erneut getestet und als Live-Demo präsentiert; handelt sich um eine Aktivität der Drittanbieter).
• Diskussionsthread auf Hacker News mit ID 50341174 (auf die Liste gelangt am 2026-11-02; am 11-03 um 07:0x wurde eine Messung mit 1557▲/501 Kommentaren durchgeführt, womit es an der Spitze der front_page steht; Der Text wird nach der roten Linie als „über 1500▲/501 Kommentare“ angegeben, ohne genaue Werte als feste Werte zu verwenden).

Unterschrift: Yongliang