Quels sont les résultats obtenus avec GPT-6 Astra en modifiant les poids des réseaux neuronaux ?

En modifiant 0,016 % des poids de Qwen3.5-0.8B, GPT-6 Astra a réussi à passer de 7,9 % à 48,1 % dans le test MATH-500 sans entraînement ni correction des gradients.

Quelles sont les méthodes utilisées par GPT-6 Astra pour lire et écrire les poids des réseaux neuronaux ?

GPT-6 Astra utilise une méthode appelée Programming dans l’Espace des Poids (Weight-Space Programming) pour lire et écrire directement les poids des réseaux neuronaux.

Hot Tracking 034 | 0,016 % des poids : MATH de 7,9 à 48,1 %

Q: Quels types de modèles neuronaux ont été utilisés dans les expériences avec GPT-6 Astra ?

Les expériences ont été menées sur de petits modèles open-source tels que Qwen3.5-0.8B, Gemma 3 270M, les petits réseaux de Atari et CarRacing, les modèles de diffusion, et les réseaux de stratégies pour le Go.

Quel s’est passé

Le blog a donné à cette capacité le nom de Programming dans l’Espace des Poids (Weight-Space Programming) : utilisation intégrale des modèles de pointe universels, lecture et écriture directe des poids eux-mêmes, allant de 171,664 poids textuels jusqu’à un modèle linguistique de 800 millions de poids (accompagné d’outils). Les sujets expérimentaux sont tous de petits modèles open-source : Qwen3.5-0.8B, Gemma 3 270M, les petits réseaux de Atari et CarRacing, les modèles de diffusion, les réseaux de stratégies pour le Go. Il convient de préciser un détail facilement interprété de manière erronée : dans le blog, « Écrire un algorithme en Go » fait référence au jeu de Go, et non au langage de programmation Go.

Disons d’abord l’aspect de lecture (tous les textes suivent le blog) :

En se basant uniquement sur 17,253 poids originaux et sans utiliser aucun outil, Astra a déterminé qu’un petit réseau était conçu pour jouer à Breakout (jeu de blocs), avec une confiance de 99 %.
Il est possible d’inférer à partir des poids ce que produira un modèle de diffusion.
En lisant uniquement le couche intermédiaire d’un modèle linguistique, on peut savoir ce qu’il a appris.
Il est possible de déterminer quel des deux modèles linguistiques est plus servile (sycophantic).

Disons maintenant l’aspect d’écriture (selon le blog) :

Écrire les poids pour jouer un jeu en une seule fois : sans rétroaction environnementale, écrire les poids d’un petit réseau de stratégie de jeu à partir de zéro, avec des performances supérieures à celles d’un réseau entraîné avec PPO pendant 100 millions de pas.
Réparer un réseau endommagé : donner à Astra les poids d’un réseau échoué, une description de la scène et une vidéo, pour qu’il explique les raisons de l’échec et écrive les nouveaux poids de réparation. Une seule tentative, sans outils, après avoir modifié 3,5 % des poids, la voiture a réussi dans toutes les 1 024 épisodes.
Écrire les poids à partir de zéro pour augmenter le nombre de paramètres à 1,5 million : architecture passant de 243 à 512×6→82, sans entraînement, sans connexion internet, permettant à Astra d’écrire directement un ensemble de poids de haute performance.

L’expérience phare consiste à modifier les capacités mathématiques de Qwen3.5-0.8B. Selon le blog : la carte du modèle de ce modèle a déjà indiqué qu’il était susceptible de tomber dans des boucles de raisonnement (thinking loops), avec 85 fois sur 96 essais ayant atteint la limite de 32,768 tokens, produisant sans cesse le même texte, sans obtenir de réponse. Astra attribue les boucles aux couches 15 et 19 du MLP, en retirant cette direction de chaque colonne de sortie de 64, modifiant au total 131,072 poids, soit 0,016 % des 800 millions de poids du modèle. Ensuite, un test de 50 avances, sans gradient, sans entraînement : MATH-500 est passé de 7,9 % à 48,1 %, GSM8K de 13,8 % à 67,1 %, IFeval (suivi d’instructions) de 21,0 % à 62,3 %, et le pourcentage de collisions avec la limite des tokens est passé de 93 % à 33,1 %.

Les contraintes clés viennent de l’auteur lui-même : il s’agit d’éliminer les obstacles qui bloquent les capacités du modèle, afin qu’il puisse calculer la réponse qu’il est capable de calculer, et non ajouter des capacités que le modèle ne possède pas.

L’exemple négatif est également une comparaison établie par l’auteur, et ce signal d’honnêteté mérite d’être souligné : Gemma 3 avec 270M de paramètres ne fait que peu de cycles, et seulement 8,5% des exercices atteignent la limite maximale. Astra ne peut pas le modifier, tandis que MATH-500 passe de 6,8% à 7,7% maximum, et Astra rapporte lui-même que « l’amélioration n’est pas confirmée ». Les mots exacts de l’auteur sont : les poids d’édition peuvent éliminer les obstacles liés à la capacité de dissimulation, mais ne peuvent pas ajouter des capacités manquantes dans le modèle.

L’auteur ne semble pas hésiter sur la position qu’il occupe par rapport à cette affaire (selon le blog) : c’est le début d’une « transformation dramatique » de l’interprétabilité mécaniste et de l’optimisation des réseaux de neurones. Dans le passé, on codait les bias humains dans des optimiseurs symboliques de petite taille comme Adam ou Muon, qui étaient chargés d’actualiser les poids ; l’avenir imaginé par l’auteur est que les poids seraient optimisés nativement par un « LLM qui raisonne intentionnellement les poids », et que l’optimiseur lui-même deviendrait un grand modèle capable de lire et de penser. Le terme Sparks dans le titre signifie étincelles : l’auteur annonce une mise à feu d’un nouveau paradigme, mais pas sa fin. Cette retenue doit être notée lors de la lecture.

En plus du blog, il y a deux actions tierces confirmées : les journaux d’expériences complets sont ouverts sur GitHub (répertoire lm_understand-logs, contenant les journaux complets des expériences du blog, créés le 29 octobre 2026, à l’heure de la publication, avec un score de 144★) ; le Qwen3.5-0.8B modifié est publié sur Hugging Face, où Ahsen Khaliq de HF a reconstruit les journaux, ré-examiné et fait une démonstration en ligne (d’après les remerciements du blog). Il convient de noter que ces actions sont des tâches de vérification tierce, ne constituent pas une revue par les pairs, et aucune reproduction indépendante systématique n’a encore eu lieu.

RSI et vide de sécurité : l’auteur a identifié les directions les plus sensibles

Les critiques principales de cette affaire ne portent pas sur les données elles-mêmes, mais sur la prochaine étape qu’elles indiquent.

Le blog a identifié cinq grandes directions futures (prônées par l’auteur, et non des faits établis) : premièrement, une vérification sans évaluation, sans raisonnement ni benchmark, afin de trouver des moyens pour cacher des capacités dans les poids ; deuxièmement, réduire considérablement les coûts d’optimisation, en initialisant les poids à la fois plutôt que de suivre des cycles d’entraînement complets ; troisièmement, une transition vers des capacités sans données et un processus d’unlearning, ajoutant ou enlevant une capacité avec un seul prompt, en modifiant seulement 0,016% des poids, pour éviter un oubli catastrophique ; quatrièmement, l’amélioration récursive (RSI), où le modèle vérifie, débogue et améliore lui-même ou les poids du modèle, de manière plus native que « écrire du code pour démarrer l’entraînement » ; cinquièmement, une vraie fusion de modèles au niveau de l’architecture, transférant des « circuits » entre différentes architectures, comme intégrer un module de raisonnement dans un autre modèle sans avoir besoin de réentraîner.

La quatrième direction est justement la cause de la controverse dans les commentaires. Certains internautes supposent que la capacité d’Astra à écrire des poids pourrait être un produit secondaire de son RSI ou de son entraînement par RL, et que cette utilisation n’a pas été contrôlée, ce qui pourrait être lié à des entraînements intensifs radicaux. Jusqu’à présent, OpenAI n’a donné aucune confirmation officielle. D’autres pensent que les laboratoires travaillent déjà sur l’entraînement du RSI, et que le même entraînement pourrait se répandre à la « mise à niveau des modèles open-source », tant que les mesures de contrôle sont suffisamment souples. La description la plus répandue dans les commentaires est : un modèle capable d’éditer et de tester ses propres variantes est cool, mais ressemble aussi à la construction d’une Skynet.

Il est nécessaire de préciser clairement la mesure à respecter : ce qu’on appelle un “vide de sécurité” n’est pas une accusation imposée par les internautes. Le blogeur a lui-même intégré le RSI dans sa direction future, ce qui équivaut à présenter volontairement l’utilisation la plus sensible possible. Parmi les cinq directions principales, la troisième a une autre signification pour les professionnels : si un seul prompt peut ajouter ou supprimer une capacité, en affectant seulement 0,016 % du poids, alors l’ajout de capacités dans des scénarios conformes devient plus facile, tout comme l’injection de capacités dans des scénarios malveillants. C’est la même chose. L’auteur reconnaît également ses limites : les capacités actuelles sont encore limitées par la longueur du contexte et l’efficacité de l’utilisation des poids. Ils construisent actuellement des normes et des chaînes de outils pour programmer l’espace des poids, afin de transformer ce qui “semble être de la magie noire” en une discipline ingénieuse réplicable. En d’autres termes, sans une évaluation mature, sans un cadre de protection, et sans une déclaration officielle, le vide est un état confirmé conjointement par l’auteur du blog et les commentateurs. Pendant ce vide, l’imagination va plus vite que la preuve, c’est pourquoi cette rubrique privilégie la critique.

Réactions des différents acteurs : qu’en pensent les commentateurs

Le forum HN compte plus de 500 commentaires. Voici cinq positions populaires, avec des opinions positives et négatives :

Les sceptiques : Ce n’est pas de la magie noire. Certains commentaires estiment que les performances d’Astra sont peut-être simplement le résultat de son entraînement massif dans les domaines de la théorie des circuits et de l’explicabilité mécanique, et non une compréhension native des poids. Ce groupe souligne également que pour les modèles de pointe qui ont travaillé avec des quantités massives de données similaires, réécrire une stratégie de jeu Atari à partir de zéro n’est pas la partie la plus difficile. Ce qui est vraiment impressionnant, c’est la section sur les mathématiques de Qwen.
Les partisans de la sécurité : La métaphore Skynet (déjà mentionnée dans la section précédente). Pouvoir modifier et tester ses propres variantes, c’est ouvrir la porte à une amélioration récursive. Le charme et le danger sont les deux faces d’un même geste.
Les sceptiques concernant les garde-fous : Certains internautes supposent que cette capacité est un produit secondaire de l’entraînement radical par RL interne, qui n’a pas été intercepté par les garde-fous. Il faut répéter : ceci est une supposition des commentateurs, sans confirmation officielle.
Les partisans de l’explicabilité : Certains commentaires populaires estiment que les poids permettent de compresser, de restaurer et d’exprimer ce qu’un réseau a appris, ce qui touche directement au cœur de la recherche sur l’explicabilité. Cela pourrait remettre en question certaines théories et positions philosophiques existantes. Pour ceux qui se concentrent sur l’explicabilité, c’est à la fois un défi et une opportunité : si les poids peuvent être directement lus par un autre modèle pour comprendre leur signification, la valeur de nombreux outils d’analyse et positions théoriques existants doit être réévaluée.
Les anxieux concernant le distillation : Certains commentaires s’inquiètent que si les LLM peuvent réécrire leurs compétences dans un autre ensemble de poids, comment les modèles leaders peuvent-ils maintenir leur avantage ? À quel point cette capacité peut-elle être récursive ? Ce sont des questions vraies. Ce groupe souligne en réalité un risque commercial : les poids pourraient devenir un nouveau moyen de transfert de capacités, plus léger et plus difficile à suivre que la distillation des données.

Trois choses que les utilisateurs ordinaires et les professionnels peuvent faire

Voir par vous-même les matériaux originaux, puis décider de combien vous croyez. Le texte original du blog, le dépôt GitHub (RikiyaT/lm_understand-logs, qui contient les logs complets des expériences du blog, permet de comparer les entrées et sorties de chaque expérience), ainsi que le Qwen3.5-0.8B modifié sur HF sont publics. Les lecteurs ayant des capacités d’évaluation peuvent réexécuter MATH-500 pour vérifier le chiffre de 48,1 % ; ceux qui n’ont pas les moyens doivent au moins lire les limites reconnues par l’auteur et les exemples contraires de Gemma, sans se contenter de partager simplement le chiffre de 0,016 %.
Les professionnels de la sécurité et de la conformité doivent ajouter les « modifications de niveau de poids » à leur liste de risques. La direction de l’« audit sans évaluation requise » pour les blogs signifie que dans le futur, il n’est peut-être pas nécessaire d’activer des tests de backdoor pour détecter des comportements de modèle ; au contraire, les modifications de niveau de poids peuvent également contourner tous les tests de comportement. Les équipes qui se fient uniquement aux tests de comportement devraient commencer à vérifier l’intégrité des poids de publication (par exemple, en enregistrant la somme de contrôle et en verrouillant l’origine du modèle). Ces pratiques sont très peu coûteuses et permettent de prévenir des scénarios où 0,016 % des modèles sont modifiés.
Lors de la référence et de la transmission, fournissez des exemples contraires et des restrictions. Deux phrases suffisent : selon le blog, l’élimination des poids d’édition empêche les obstacles à la capacité de couverture, et il ne faut pas ajouter des capacités absentes du modèle ; le Gemma 3 avec 270M n’a pas été modifié, et l’auteur a rapporté que « l’amélioration n’était pas établie ». Ces deux phrases sont très peu coûteuses, elles peuvent empêcher la propagation exagérée de l’information et éviter des situations gênantes lors du réplication indépendante ultérieure.

Conclusion

Présentation prudente : cet article ne suppose rien ni ne incrimine. La capacité d’Astra à lire et écrire des poids est confirmée par des logs open-source et des reconstructions tierces, mais elle n’a pas été évaluée par des pairs et n’a pas encore été répliquée de manière systématique et indépendante ; les débats entre RSI et la barrière sont actuellement uniquement des spéculations des commentateurs, OpenAI et MIT n’ont aucune réponse officielle ; comme mentionné précédemment, l’auteur annonce une ignition par étincelles, pas la fin d’un changement, et le mot utilisé dans le titre du blog est bien « Sparks ». Pour les lecteurs ordinaires, la meilleure approche est peut-être de considérer cela comme le début d’une recherche, plutôt que comme un aperçu d’un produit ; considérez 0,016 % comme une observation expérimentale, et non comme une formule universelle qui pourrait être appliquée à n’importe quel modèle.

Voyons deux points clés : premièrement, si OpenAI ou MIT donnent une réponse officielle, en particulier sur la question de savoir si un modèle doit avoir la capacité d’éditer des poids ; deuxièmement, si des réplications indépendantes tierces ou des démonstrations de falsification surviennent, en particulier après que quelqu’un d’autre que akhaliq a réexécuté le modèle après l’édition. La fenêtre de 48 heures se ferme vers 07:00 du 4 novembre. Si des événements se produisent à l’intérieur de cette fenêtre, ce rubrique sera mis à jour en version 2.

Sources de référence

Blog «Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights», rikiyat.github.io/blog/weight-space-programming/, Publié le 2026-11-02 (texte du blog original ; description de l’étudiant, non évaluée par des collègues ; l’auteur mentionne MIT CSAIL comme source).
Repos GitHub RikiyaT/lm_understand-logs (détail des expériences du blog ; créé le 2026-10-29 ; testé le 11-03 avec un score de 144★).
Qwen3.5-0.8B modifié sur Hugging Face (texte de remerciement du blog : Ahsen Khaliq a reconstruit les logs, réessayé les tests, et a fait une démonstration en direct ; action de vérification par un tiers).
Discussion sur Hacker News avec ID 50341174 (sortie le 2026-11-02 ; testé le 11-03 à 07:0x avec 1557▲/501 commentaires, se classant premier sur la page principale ; le texte est présenté comme « plus de 1500▲/501 commentaires », sans donner une valeur précise).

Auteur : Yongliang