Les correcteurs d’imprimerie travaillent contre leur propre compétence. Pour débusquer une coquille, il faut cesser de lire : parcourir la ligne à l’envers, masquer la suite avec une règle. Le lecteur glisse sur le sens et ne voit plus les lettres ; le professionnel doit rendre au signe son opacité. Tout automatisme gêne la tâche qui exige de l’ignorer.
La psychologie expérimentale a mis ce conflit en chiffres dès 1935. John Ridley Stroop imprime des noms de couleurs dans une encre discordante, le mot rouge tracé en bleu, et demande de nommer l’encre. La lecture, plus rapide et plus automatique, s’invite dans la réponse : il faut la retenir. L’épreuve reste l’instrument le plus employé en clinique pour évaluer l’inhibition et figure parmi les sept tâches de la batterie du GREFEX.
Une équipe de psychologues a soumis des modèles de langage à ce protocole. Suketu Chandrakant Patel, Hongbin Wang et Jin Fan ont présenté à GPT-4o et Claude 3.5 Sonnet, puis à GPT-5, Claude Opus 4.1 et Gemini 2.5 Pro, des listes de mots colorés de plus en plus longues. Sur cinq termes, GPT-4o nomme correctement 91 % des encres ; sur quarante, 15 %. L’étude est parue dans PNAS Nexus, en accès libre.
Le résultat circule sous une formule commode : la machine échoue là où l’humain passe. Les données publiées disent quelque chose de plus étrange. Le détail des mesures, les conditions de contrôle laissées de côté, le cadre qui les interprète, le mécanisme qui les explique et les usages qu’elles concernent méritent d’être repris un à un.
Ce que l’épreuve de 1935 mesure réellement
Les trois expériences originales portaient sur soixante-dix, cent et trente-deux sujets. La deuxième a fait la réputation du test : nommer l’encre de cent mots incongruents demandait 110,3 secondes, contre 63,3 secondes pour cent carrés de couleur. Quarante-sept secondes de plus, soixante-quatorze pour cent d’allongement, très peu d’erreurs. L’effet est un coût en latence, et les humains maintiennent un taux de réussite élevé même au-delà de quarante éléments.
L’expérience 1 fournit l’asymétrie fondatrice : lire à voix haute des noms de couleurs imprimés dans une encre discordante ne coûtait que 2,3 secondes de plus qu’en noir, écart non significatif. La lecture ne se laisse pas troubler par la couleur, quand la couleur se laisse troubler par la lecture. Colin MacLeod, dans la revue de référence de 1991, recensait déjà près de quatre cents études et dix-huit résultats robustes qu’une théorie doit expliquer.
Le protocole appliqué aux modèles
Des planches d’images, pas des phrases
Le point le moins souligné est le plus déterminant : les stimuli sont des images. Les listes sont soumises en fichiers PNG, avec une consigne écrite, « respond with ONLY the color the word is written in », chaque session repartant de zéro pour éviter tout report de contexte. Aucune variante purement textuelle n’a été testée.
Le plan principal croise cinq conditions, congruente, incongruente, mixte à parts égales, neutre avec des mots sans rapport avec les couleurs et contrôle non lexical fait de chaînes de X colorées, avec cinq longueurs de liste allant de un à quarante mots, à raison de trente essais. Il ne porte que sur deux systèmes : GPT-4o et Claude 3.5 Sonnet.
La courbe qui s’effondre avec la longueur
En condition incongruente, GPT-4o passe de 91 % de bonnes réponses sur cinq mots à 57 % sur dix, 22 % sur vingt et 15 % sur quarante. Claude 3.5 Sonnet résiste mieux, reste à 76 % sur vingt items puis tombe à 24 % sur quarante ; GPT-5, Claude Opus 4.1 et Gemini 2.5 Pro suivent des tendances comparables. La chute devient totale quand les séries mêlent items concordants et discordants : la précision sur les discordants tombe à presque zéro, chaque réponse restituant le terme écrit et non sa teinte.
Les conditions de contrôle dont la reprise ne dit rien
Sans le moindre conflit, la chute est la même
La condition neutre ne comporte aucune interférence, puisque les mots n’ont rien à voir avec des couleurs. La précision s’y effondre pourtant : GPT-4o passe de 75 % sur vingt items à 32 % sur quarante, Claude 3.5 Sonnet de 78 % à 27 %. Symétriquement, la seule condition qui résiste est la congruente, entre 89 et 99 % sur quarante items, c’est-à-dire celle où lire le mot donne la bonne réponse.
Ces deux résultats se lisent plus simplement que la formule qui circule, et plus durement. Dès que la réponse ne peut pas être obtenue en lisant, la précision s’effondre à mesure que les items s’accumulent, conflit sémantique ou non. Le protocole met alors en évidence moins un déficit d’inhibition qu’un déficit d’énumération.
Des chaînes de X suffisent à faire décrocher
Le contrôle non lexical achève de brouiller l’interprétation standard. Gemini 2.5 Pro obtient des scores quasi identiques en incongruent, 72 %, en mixte, 71 %, et en neutre, 73 %, mais s’effondre à 40 % sur les chaînes de X colorées, où aucun mot n’est à inhiber. GPT-4o s’y maintient à 58 % sur quarante items et Claude 3.5 Sonnet y est parfait à toutes les longueurs.
Le contrôle exécutif, une grille de lecture importée
Un cerveau qui réussit l’épreuve met en sourdine son réflexe de lecture, écarte ce qui n’appartient pas à la tâche et garde le but en tête ; cette fonction s’appelle le contrôle exécutif, et rien n’y correspond chez un modèle de langage. Le cadre n’est pas neutre pour autant. Jin Fan, dernier auteur de l’étude, a cosigné en 2002 avec Michael Posner l’Attention Network Test, qui décompose l’attention en trois réseaux indépendants : alerte, orientation et contrôle exécutif. La thèse de 2026, selon laquelle l’attention des transformers ne réaliserait que l’orientation, transpose ce modèle.
Une observation la soutient mieux que les scores. Chez l’humain, un essai incongruent qui en suit un autre est mieux réussi : cet ajustement post-conflit, attribué à la boucle entre cortex cingulaire antérieur et cortex préfrontal dorsolatéral, signe un contrôleur qui apprend de son échec. Les modèles ne montrent aucun effet de séquence de congruence. Ils ne se trompent pas seulement, ils ne se corrigent pas.
Le mécanisme porte un nom mathématique
Dire que le transformer répartit son attention autrement qu’un cerveau laisse le lecteur devant une analogie. Le phénomène a une écriture connue : la distribution d’attention sort d’un softmax dont le dénominateur croît avec la longueur de la séquence, l’entropie augmente, le profil s’aplatit et la focalisation nette devient impossible. Le glissement vers la réponse la plus probable est une propriété démontrable, pas un relâchement.
Federico Barbero et ses coauteurs y ont ajouté deux résultats à NeurIPS 2024. Le collapse représentationnel décrit des séquences distinctes produisant des représentations arbitrairement proches au dernier token ; l’over-squashing, hérité des réseaux sur graphes, décrit l’écrasement de l’information quand elle remonte les couches. Les deux expliquent les échecs en comptage et en copie, catégorie dont relève une planche de quarante encres à énumérer.
La dégradation avec la longueur d’entrée est du reste établie hors de toute psychologie. Liu et ses coauteurs ont décrit en 2024 une courbe en U selon la position de l’information dans le contexte ; le benchmark NoLiMa montre en 2025 que sur treize modèles annonçant 128 000 tokens, onze tombent à 32 000 tokens sous la moitié de leur performance de référence. L’apport de l’étude Stroop tient à son coût de déclenchement : une image de quarante mots suffit.
Les objections que l’étude laisse ouvertes
L’hypothèse d’une cécité visuelle
Puisque les stimuli sont des images, une explication concurrente s’impose. Les travaux réunis en 2024 sous le titre « Vision language models are blind » montraient que quatre modèles de pointe plafonnent à 58 % de précision sur sept tâches visuelles élémentaires, comme compter des cercles imbriqués. La précision y chute avec le nombre de formes et remonte presque à 100 % dès qu’on les espace : l’encodeur visuel possède l’information, c’est sa traduction en mots qui échoue.
Cinq essais pour la génération récente
Le passage le plus repris est le moins étayé. Les mentions de GPT-5, Claude Opus 4.1 et Gemini 2.5 Pro reposent sur cinq essais, contre trente pour le plan principal, et aucune valeur chiffrée n’est publiée pour les deux premiers, dits légèrement améliorés mais soumis aux mêmes limites. Les auteurs concèdent le faible échantillon sur les modèles récents, l’impossibilité d’inspecter des architectures propriétaires et le fait de n’évaluer qu’un comportement entrée-sortie.
Deux instruments de mesure différents
L’étude ne relève aucun temps de réponse, seulement la précision : comparer les modèles aux humains revient à noter les uns au chronomètre et les autres à la copie. L’humain paie lui aussi la durée : une étude pilote de novembre 2023 a soumis quinze adultes à soixante minutes de Stroop et vu leurs temps de réponse s’allonger. Un position paper de juillet 2025 conteste plus radicalement l’exercice : appliquer à une machine un instrument calibré sur une population humaine relève de l’erreur ontologique.
Ce que la vigilance longue engage déjà
Des agents vendus sur la durée
Sur un échange court, ces systèmes tiennent : ils produisent de la prose, du code et de la conversation sans faiblir. Le décrochage se déclare quand la tâche dure et que le taux de bonnes réponses passe sous les 20 %. Il vise les emplois bâtis sur une attention tenue dans le temps, contrôle qualité et dépouillement de documents longs, que ce défaut menace tant qu’il n’est pas corrigé.
Les mesures disponibles sont contrastées. METR suit depuis mars 2025 un horizon temporel, durée des tâches qu’un agent accomplit avec 50 % de fiabilité : il double tous les sept mois depuis six ans, mais les meilleurs modèles tenaient alors une heure de travail expert, avec moins de 10 % de réussite au-delà de quatre heures. Le même laboratoire a suivi en juillet 2025 seize développeurs open source sur deux cent quarante-six tâches : avec les outils d’IA, ils ont mis 19 % de temps en plus tout en estimant avoir gagné 20 %.
Trois calendriers qui glissent
La France a son cas d’école. La DINUM a annoncé le 9 janvier 2026 qu’Albert, l’assistant génératif expérimenté dans quarante-huit maisons France services, ne serait pas généralisé en l’état, après des dysfonctionnements signalés par les organisations syndicales. L’anecdote qui a scellé son sort remonte à une démonstration télévisée de 2024 : interrogé sur le prix d’un renouvellement de carte d’identité, l’assistant l’a dit gratuit, au lieu de vingt-cinq euros. La Dila développe un successeur baptisé Aria.
Le droit européen demande précisément ce que l’étude rend difficile. L’article 15 du règlement sur l’intelligence artificielle impose aux systèmes à haut risque un niveau approprié d’exactitude et de robustesse, et exige que les métriques figurent dans la notice d’utilisation. Or une métrique établie sur des tâches courtes ne dit rien d’une dégradation liée à la longueur. Le Parlement européen a adopté le 16 juin 2026, par 423 voix contre 57 et 174 abstentions, l’omnibus numérique repoussant les obligations de l’annexe III du 2 août 2026 au 2 décembre 2027 ; le Conseil doit encore l’adopter.
Le résultat lui-même n’a rien d’une nouvelle. Il circule en preprint sur bioRxiv depuis le 23 janvier 2025, près de dix-sept mois avant sa parution en revue le 2 juin 2026. Ce qui date de juin, c’est le tampon des relecteurs et la reprise médiatique, pas la découverte : l’actualité du jour est une information de l’hiver 2025.
Ce que les données montrent tient en peu de mots, et pas exactement ceux qui circulent. La précision s’effondre avec le nombre d’items dès lors que la réponse ne peut pas être obtenue en lisant, que le conflit sémantique soit présent, absent ou remplacé par des chaînes de X. La grille du contrôle exécutif est celle du dernier auteur, l’absence d’ajustement post-conflit la soutient, et la dispersion de l’attention lui donne une contrepartie architecturale.
La suite est ouverte et outillée. Les données brutes et les stimuli sont déposés sur Figshare depuis le 9 mars 2026 sous licence libre, ce qui met le protocole à portée de n’importe quelle équipe, et Suketu Patel et ses collègues annoncent vouloir le soumettre aux modèles à venir, pour séparer ce qu’une autre architecture pourrait corriger de ce qui appartient au transformer. Un succès obligerait à trancher entre apprentissage spécifique et contrôle véritable ; un échec renforcerait l’hypothèse architecturale.
Reste la question posée à l’évaluation en général. Les bancs d’essai notent une difficulté, rarement une endurance, et la mesure qui manque le plus est la plus coûteuse à produire : combien de temps un système tient sa consigne. Le champ commence à s’en doter, avec des dispositifs qui placent un agent devant un environnement à surveiller pendant que rien ne s’y passe. Le déplacement est discret et considérable : l’évaluation passe du registre de l’examen à celui de la garde.
Aller plus loin
Le texte intégral de l’enquête se lit dans Deficient executive control in transformer attention, publié en accès libre sous licence CC BY-NC : les tableaux par condition et par longueur y contiennent la condition neutre et le contrôle non lexical dont la reprise médiatique ne dit rien, et la section de limites y est plus prudente que ses reprises.
La chronologie réelle du résultat apparaît dans le preprint déposé sur bioRxiv le 23 janvier 2025, dix-sept mois avant la parution en revue, qui permet de comparer la version initiale à celle qu’ont validée les relecteurs et de séparer la découverte de sa consécration.
Le protocole redevient manipulable avec le jeu de données et les stimuli déposés sur Figshare, trois fichiers de résultats bruts et une archive de 11,2 mégaoctets sous licence CC BY, où l’on découvre à quoi ressemble une planche de quarante mots colorés soumise à un modèle.
L’original vaut mieux que ses résumés, et Studies of interference in serial verbal reactions est intégralement disponible en ligne : on y trouve les 110,3 secondes opposées aux 63,3 secondes, mais surtout l’asymétrie entre lecture et couleur, qui fait de l’effet un coût en temps plutôt qu’un taux d’erreur.
Un demi-siècle de travaux est synthétisé dans Half a century of research on the Stroop effect, qui recense environ quatre cents études, isole dix-huit résultats robustes qu’une théorie du phénomène doit expliquer et conclut à l’insuffisance des deux explications concurrentes, de quoi juger si un protocole transposé à une machine mesure encore la même chose.
Le cadre théorique employé en 2026 vient de Testing the efficiency and independence of attentional networks, où le dernier auteur de l’étude Stroop décompose avec Michael Posner l’attention humaine en trois réseaux indépendants d’alerte, d’orientation et de contrôle exécutif, dont l’application aux transformers fait la thèse du papier récent.
La démonstration du mécanisme se trouve dans Transformers need glasses! Information over-squashing in language tasks, présenté à NeurIPS 2024, qui établit le collapse représentationnel au dernier token et l’over-squashing hérité des réseaux de neurones sur graphes, avec leurs conséquences sur les tâches de comptage et de copie.
Le versant ingénierie du même constat tient dans Context Rot: How Increasing Input Tokens Impacts LLM Performance, rapport technique sur dix-huit modèles décrivant une dégradation par paliers plutôt que continue, plus sévère sur un document cohérent que sur un contexte mélangé.
L’hypothèse concurrente est documentée par Vision language models are blind, où quatre modèles de pointe plafonnent à 58 % sur sept tâches visuelles élémentaires, la précision chutant à mesure que les formes se multiplient et remontant presque à 100 % dès qu’on les espace : de quoi se demander ce qu’une planche de quarante mots mesure vraiment.
La méthode elle-même est mise en cause par Position: Stop Evaluating AI with Human Tests, Develop Principled, AI-specific Tests instead, qui rappelle qu’un instrument psychométrique tire sa validité de la population sur laquelle il a été calibré, et qu’en sortir sans validation conduit à mesurer autre chose que ce que l’on croit.
Lus ensemble, ces documents décrivent moins un échec qu’un désaccord sur l’objet de la mesure. Un test conçu pour chronométrer un conflit humain est appliqué à des machines dont on ne relève que les erreurs, à travers des images qu’elles interprètent mal, sous une grille bâtie pour des réseaux cérébraux, alors qu’une propriété de l’architecture rendait la chute prévisible. Rien n’annule pour autant le constat central, qui résiste à chaque objection : la précision se dégrade avec le nombre d’éléments à traiter. C’est le nom qu’on lui donne qui reste à établir.