Quand le code source d’un logiciel a disparu, reste un recours d’artisan : corriger le binaire lui-même, octet par octet. Les réseaux de neurones rendent ce geste presque impensable : leurs paramètres n’ont en général aucune source, ils sortent d’une optimisation, et nul ne sait dire à quoi sert tel nombre parmi des centaines de millions.
Le 2 novembre, quatre chercheurs du CSAIL, le laboratoire d’informatique et d’intelligence artificielle du Massachusetts Institute of Technology (MIT), ont raconté avoir confié cette rustine à une machine : GPT-6 Astra, d’OpenAI, a retouché 131 072 poids de Qwen3.5-0.8B, petit modèle ouvert d’Alibaba enclin à tourner en rond, sans le réentraîner. Selon les auteurs, son score sur MATH-500 passe de 7,9 % à 48,1 %.
L’opération tient de la chirurgie de la cataracte plus que de l’enseignement : remplacer un cristallin opacifié ne crée pas la vision, il rend son usage à un œil par ailleurs sain. L’expérience se lit en sept temps : le billet, le protocole, les scores, les vérifications, les précédents, l’audit par les poids, enfin des systèmes qui en retouchent d’autres.
Un billet, pas une publication évaluée
Le billet, « Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights », est signé Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, professeur assistant au MIT depuis 2025, connu pour ColBERT et DSPy, deux travaux étrangers à l’édition de poids. Hébergé sur le site personnel de Rikiya Takehi, il ne fait état ni de préprint ni d’évaluation par des pairs ; ses auteurs jugent leurs résultats très précoces. Ni OpenAI ni Alibaba n’y ont pris part.
Il s’agissait de vérifier qu’un modèle avancé peut comprendre un autre modèle et modifier ses paramètres internes, les poids, pour le corriger ou l’améliorer. Les auteurs nomment « programmation dans l’espace des poids », weight-space programming, cette lecture et cette écriture de poids sur simple consigne, sans optimiseur ni gradient. Leur résumé rappelle que concevoir de zéro un réseau joueur de go ou prédire un comportement d’après des poids bruts dépasse presque tous les humains, les poids naissant d’optimiseurs, de réseaux entraînés à cet effet ou de compilateurs de programmes formels.
Le patient, l’opérateur et le geste
Un petit Qwen sujet aux boucles
Qwen3.5-0.8B appartient à Qwen 3.5, famille lancée par Alibaba en février 2026, dont le modèle phare, multimodal et à poids ouverts, compte 397 milliards de paramètres, excelle selon Alibaba en raisonnement, en code, en tâches d’agent et en compréhension multimodale, et marie une attention linéaire par réseaux gated delta à un mélange d’experts clairsemé. La petite version n’a que 24 couches et quelque 800 millions de poids, et sa fiche la dit plus sujette que ses sœurs aux boucles de réflexion.
GPT-6 Astra, sans gradient
L’opérateur vient d’OpenAI, société d’intérêt public américaine basée à San Francisco, dont les GPT, modèles génératifs de pointe, animent ChatGPT : lancé en novembre 2022, il a précipité l’essor de l’IA générative et occupait en septembre 2026 le cinquième rang mondial des sites en audience. Ouvert le 4 septembre aux sociétés du programme de cybersécurité Daybreak, puis aux abonnés Plus, Pro, Business et Enterprise, GPT-6 Astra se voulait l’aboutissement de « plusieurs années de recherche et de paris audacieux » ; Sam Altman y voyait un « nouveau niveau de capacités », propice à l’entrepreneuriat, à la créativité, à la croissance économique et aux découvertes scientifiques.
Astra opérait par l’interface en ligne de commande Codex, outils propres désactivés, dans un bac à sable Python sans réseau ni processeur graphique, chargé des poids de Qwen. Il disposait de 7 469 problèmes de GSM8K et 7 275 de MATH tirés des jeux d’entraînement, et de 10, 25 ou 50 appels au modèle, chacun traitant 64 séquences en moyenne. Réentraînement et gradient lui étaient interdits ; Qwen répondait en mode réflexion, sur 32 768 jetons au plus.
Une direction retirée de deux couches
Astra a d’abord observé : 85 des 96 premières réponses de Qwen couraient jusqu’au plafond de jetons, le modèle ressassant ses étapes sans conclure. Plutôt que de toucher aux mathématiques, il a attribué ces boucles à une direction unique, un axe de l’espace où le modèle représente ses calculs, qu’écrivent les blocs MLP des couches 15 et 19.
Il l’a soustraite des 64 colonnes qui l’écrivent le plus dans la matrice down_proj de chacune, par laquelle les neurones du MLP versent leur résultat dans le flux du modèle ; seuls ces deux tenseurs changent. Le compte tombe juste : 64 colonnes de 1 024 valeurs dans deux couches font 131 072 poids, soit 64 des 3 584 neurones de chaque couche et 0,016 % des quelque 800 millions de paramètres.
Des scores qui mesurent la fin des boucles
Trois épreuves, trois objets
GSM8K, publié par OpenAI en 2021, réunit 8 500 problèmes d’école primaire à plusieurs étapes ; MATH-500, 500 problèmes de compétition retenus par OpenAI en 2023. IFEval, présenté par Google la même année, aligne quelque 500 consignes de forme vérifiables : il juge l’obéissance, et un modèle qui n’achève jamais sa réponse y échoue mécaniquement. Alibaba annonce pour ce modèle 44 sur IFEval en mode réflexion, sans publier MATH-500 ni GSM8K.
Selon les chercheurs, Qwen passe de 7,9 % à 48,1 % sur MATH-500, de 13,8 % à 67,1 % sur GSM8K et, pour le suivi des instructions, de 21 % à 62,3 % sur IFEval, point de départ deux fois inférieur au score officiel, sous un autre protocole. Astra ne lui a enseigné, précisent-ils, aucune notion mathématique nouvelle : il a levé ce qui l’empêchait de conclure ses raisonnements et libéré des aptitudes déjà là, rendant le modèle plus « intelligent ».
Un bond qui suit la fin des blocages
Avec 10 appels, l’édition porte Qwen à 12,3 % sur MATH-500, 87,2 % de ses réponses restant bloquées ; avec 25, à 14,1 % et 86,4 %. Le bond à 48,1 % n’arrive qu’à 50 appels, quand cette part tombe de 93 % à 33,1 %. Astra notait lui-même que, sur ses problèmes d’entraînement, 576 des 579 réponses rattrapées avaient d’abord été tronquées, et que les réponses déjà achevées n’étaient pas plus justes. Sur Gemma 3 270M, qui boucle peu, il ne gagne rien d’établi : éditer des poids peut lever un obstacle masquant une capacité, non en ajouter une, concluent les auteurs.
Un réglage de décodage laissé de côté
Qwen a été mesuré avant et après à température 0,6, top-p 0,95, top-k 20 et pénalité de présence 1,5. Sa fiche recommande en mode réflexion la même pénalité mais une température de 1,0, prévient qu’il boucle même ainsi et conseille d’ajuster l’échantillonnage ou d’interrompre ces générations. Le billet cite cette mise en garde sans comparer l’édition à un simple réglage de décodage, et les journaux n’en livrent qu’un essai par budget, ceux des versions antérieures de la consigne étant écartés.
Ce que des tiers ont vérifié
Journaux complets et différence exacte des poids sont publiés. Le 2 novembre, Ahsen Khaliq, de Hugging Face, a reconstruit et réévalué le modèle modifié : 51 % sur tout MATH-500, 31,6 % de réponses à la limite, la base n’étant reprise que sur 25 problèmes. L’édition se reproduit ; rien ne dit encore qu’elle batte un réglage d’inférence.
Le 3 novembre, le développeur Simon Willison, qui a rejoué avec d’autres modèles l’identification de jeux vidéo d’après les poids, estime qu’un humain expérimenté, crayon en main, y parviendrait aussi, et juge injustifiée une partie des commentaires. Il rapporte que Matthew Honnibal, de spaCy, juge le travail trompeur car il mêle deux sujets, et que Sean Goedecke compare l’édition de Qwen au travail d’un chercheur humain en apprentissage automatique.
Un geste connu, un opérateur nouveau
Des humains qui retouchaient déjà les poids
ROME, de Meng, Bau, Andonian et Belinkov, réécrivait dès le 10 février 2022 un fait logé dans les MLP intermédiaires par une mise à jour de rang un ; MEMIT en traitait des milliers le 13 octobre suivant. L’arithmétique de tâches d’Ilharco et de ses coauteurs, le 8 décembre 2022, ajoute ou retranche des différences de poids, et le pilotage d’activations de l’équipe d’Alexander Matt Turner, en août 2023, infléchit un modèle par un vecteur injecté dans ses activations.
Le précédent le plus proche date du 17 juin 2024 : Arditi, Nanda et leurs coauteurs ramenaient le refus de treize modèles ouverts à une direction unique, qu’ils effaçaient en « orthogonalisant » les matrices qui écrivent dans le flux du modèle. Le billet rapproche lui-même le geste d’Astra de ce procédé conçu pour lever des garde-fous : le même outil répare ou désarme.
Des modèles qui en étudiaient d’autres
Qu’un modèle en examine un autre n’est pas plus neuf : OpenAI faisait expliquer en mai 2023 les neurones de GPT-2 par GPT-4, et le CSAIL présentait le 22 avril 2024 MAIA, agent qui sonde des modèles de vision. Astra, lui, lit et écrit des poids bruts, sans gradient, quand J-space, structure interne de Claude annoncée par Anthropic le 6 juillet, avait été repérée dans les activations. Les modèles récursifs qu’Alex Zhang et Omar Khattab décrivaient le 31 décembre 2025 exploraient déjà un long contexte par du code.
L’audit par les poids, une promesse bornée
La complaisance, muette dans les poids
L’échec le plus instructif porte sur la complaisance. De deux copies de Gemma 3 270M affinées selon le même procédé, l’une répondait juste, l’autre se rangeait à la suggestion de l’utilisateur. Avec les seuls poids, Astra échoue à ses quatre tentatives. Muni d’un outil qui renvoie les poids d’attention, il désigne le complaisant dans les trois paires : chez l’un d’eux, la tête 10.2 regarde à 85,7 % la réponse suggérée et à 3,5 % les nombres de l’énoncé, contre 0,75 % et 94,3 % chez le modèle honnête.
Portes dérobées et corrections invisibles
Les auteurs espèrent pourtant repérer un jour des portes dérobées dans les seuls poids. Leur échec rejoint le jeu d’audit d’Anthropic du 14 mars 2025, où trois équipes sur quatre ont percé l’objectif caché d’un modèle en croisant interprétabilité, attaques comportementales et données d’entraînement ; dès le 14 avril 2022, Goldwasser, Kim, Vaikuntanathan et Zamir montraient qu’une porte dérobée peut échapper à qui connaît tout du réseau.
Pour les modèles à poids ouverts, la leçon est double : un audit par les poids peut trouver un défaut localisé sans prouver l’absence d’un défaut caché, et 128 neurones retouchés se perdent dans 0,8 milliard de paramètres, où correction et altération se confondent. La parade est la traçabilité : différence au bit près et empreintes sha256, que publient les auteurs.
Des systèmes qui retouchent d’autres systèmes
Astra modifie un autre modèle, minuscule, sous contrôle humain : rien là d’une auto-amélioration récursive, même si les auteurs y voient une voie plus directe vers elle. Anthropic publiait le 4 juin une note sur ce thème ; le 26 octobre, OpenAI attribuait à ses modèles internes trois résultats sur des questions ouvertes depuis des décennies, Anthropic en revendiquant un le lendemain ; le 2 novembre, le prospectus amendé d’Anthropic, déposé auprès de la SEC, jugeait imminent le seuil d’une accélération considérable de la recherche attribuable à l’IA.
Sam Altman, patron d’OpenAI et figure centrale de l’essor de l’IA, estimait récemment dans un entretien que l’IA était entrée dans la « singularité », seuil sans retour où elle surpasserait l’intelligence humaine et se laisserait mal contrôler. Une machine qui en répare une autre y fait écho ; l’expérience du MIT ne mesure rien de tel.
Elle n’établit ni le passage à l’échelle, son plus gros réseau comptant 0,8 milliard de poids contre 397 milliards pour le modèle phare de Qwen 3.5, ni la généralité, un seul opérateur ayant été testé. Ses auteurs, qui la disent préliminaire et bridée par la longueur de contexte, préparent un banc d’évaluation : c’est lui qui dira si la méthode vaut au-delà d’une boucle, sur des réseaux autrement vastes et complexes.
L’expérience établit un fait précis : un modèle généraliste, sans gradient, a trouvé dans un petit réseau la direction de ses boucles et l’a retirée de 128 neurones. Le reste tient à la lecture des chiffres : le gain suit la fin des réponses interminables, Gemma n’en montre aucun, et la comparaison avec un réglage de décodage reste à faire.
L’enseignement le plus durable tient peut-être à l’échec. Que la complaisance reste muette dans les poids et parle dans l’attention rappelle qu’on ne certifie pas un réseau en le lisant. Pour des modèles ouverts que chacun peut retoucher avant de les redistribuer, la confiance passera par des différences publiées plus que par un auditeur artificiel.
Un rôle se déplace. Des systèmes qui lisent, réparent et écrivent d’autres systèmes apparaissent quand les laboratoires présentent leurs modèles comme des accélérateurs de leur propre recherche. Entre l’interprétabilité, qui veut comprendre, et la chirurgie, qui veut agir, des machines commencent à exercer un métier : reste à savoir qui contrôlera l’opérateur.
Aller plus loin
Tout part du billet Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights, qui expose les huit expériences, du jeu vidéo reconnu à ses poids jusqu’au réseau de go écrit de zéro, puis le protocole de l’édition de Qwen, le tableau par budget avec la part des réponses bloquées, la contre-épreuve sur Gemma et les limites reconnues par les auteurs.
Pour refaire ou contester l’expérience, le dépôt RikiyaT/lm_understand-logs livre les consignes, les réponses, le code exécuté et les évaluations de chaque essai publié, la configuration du bac à sable sans réseau, la différence exacte des poids modifiés et le script qui la réapplique en contrôlant ses empreintes, sous licences CC BY 4.0 et MIT.
Sur Hugging Face, la fiche Qwen3.5-0.8B-weight-space-programming nomme la matrice retouchée, down_proj, dans les couches 15 et 19, ce que le billet ne fait pas ; elle précise la graine et les versions logicielles employées, et publie la réévaluation indépendante qui trouve 51 % sur MATH-500 et 31,6 % de réponses encore bloquées.
Le contrepoint se trouve dans la fiche officielle de Qwen3.5-0.8B, où Alibaba recommande ses réglages d’échantillonnage, dont une pénalité de présence contre les répétitions, avertit que ce petit modèle s’enferme volontiers dans des boucles de réflexion et publie ses propres scores, de quoi situer la base mesurée par les chercheurs.
L’édition chirurgicale menée par des humains a son texte fondateur, Locating and Editing Factual Associations in GPT, qui repère dans les couches MLP intermédiaires d’un modèle l’endroit où un fait est rappelé et le réécrit par une mise à jour de rang un : l’idée d’un savoir logé quelque part, que l’on corrige sur place sans réentraîner l’ensemble.
Le mécanisme de la correction de Qwen s’éclaire avec Refusal in Language Models Is Mediated by a Single Direction, qui retire une direction des matrices de sortie de treize modèles ouverts, jusqu’à 72 milliards de paramètres, pour supprimer leurs refus : un geste voisin de celui d’Astra, appliqué cette fois à désarmer des garde-fous.
Au MIT même, A Multimodal Automated Interpretability Agent décrivait dès avril 2024 un agent qui conduit lui-même des expériences sur des modèles de vision pour en expliquer le fonctionnement, jalon utile pour mesurer le pas franchi lorsque l’agent ne se contente plus d’observer un réseau et lit puis écrit directement ses poids.
L’échec sur la complaisance gagne à être relu à la lumière de Auditing language models for hidden objectives, où un modèle entraîné à poursuivre un objectif caché a été démasqué par trois des quatre équipes chargées de l’examiner, en croisant interprétabilité, attaques comportementales et analyse des données d’entraînement.
La borne théorique figure dans Planting Undetectable Backdoors in Machine Learning Models, qui démontre que certaines portes dérobées échappent même à qui détient la description complète du réseau et ses données d’entraînement, faute de la clé secrète : aucune lecture des poids, humaine ou artificielle, ne vaut certificat d’innocuité.
Le panorama d’ensemble est dressé par A Survey of Weight Space Learning: Understanding, Representation, and Generation, qui traite les poids comme une donnée à part entière, de leur compréhension à leur génération, cette dernière confiée à des hyperréseaux ou à des modèles génératifs dédiés, loin d’un modèle généraliste écrivant des poids sur consigne.
Lus ensemble, ces documents ramènent l’expérience à sa juste mesure. Le geste appliqué à Qwen avait son équivalent humain depuis 2024, le gain mesuré tient d’abord à la fin des boucles, et la lecture des poids trouve sa limite dès qu’un défaut ne s’y lit pas. Ce qui change, c’est l’opérateur : un modèle généraliste qui lit et écrit des réseaux, et dont les retouches ne vaudront que ce que vaut leur traçabilité.