Pendant un siècle, on a jugé une machine à vapeur au travail qu’elle fournissait. Sadi Carnot a déplacé la question en 1824: ce qui compte n’est pas la puissance obtenue, mais son rapport au charbon brûlé pour l’obtenir. Ce changement de dénominateur a fondé la thermodynamique.
L’apprentissage automatique en est encore à l’âge de la puissance affichée. On classe les modèles par nombre de paramètres, par volume de tokens avalés, par score sur des batteries d’épreuves, presque jamais par ce qu’ils tirent d’une unité d’entrée. Or il existe un apprentissage dont le rendement ne se discute pas, et il tient dans un berceau.
Fin août 2026, Elise Cutts met en regard dans MIT Technology Review l’entrée d’un nourrisson dans le langage et ce qu’exige un système génératif pour en produire l’apparence. Michael C. Frank, spécialiste des sciences cognitives à l’université Stanford, résume le décalage par une image: obtenir d’une machine l’équivalent de ce qu’un bébé acquiert en douze mois supposerait de brûler une forêt, puis de racler tout le savoir humain. Les nourrissons vont plus vite, sans explication établie.
Reste à établir ce que la comparaison mesure au juste, ce que coûtent en énergie les deux apprentissages, ce que quatre années de compétition BabyLM ont appris et désappris, ce que changent les caméras posées sur le front des nourrissons, et ce qui se jouera à Budapest en octobre, à l’ouverture de l’atelier de la quatrième édition.
La mesure exacte de l’écart
Dix millions de mots contre quinze mille milliards de tokens
Les volumes disent le décalage mieux que les métaphores. Un enfant qui a entendu dix millions de termes construit déjà des phrases correctes sur le plan grammatical, et l’estimation la plus généreuse repousse ce seuil à trente millions. Llama 3.1 a ingéré quinze mille milliards de tokens en préentraînement, ces fragments que le système découpe pour les manipuler. D’après Ethan Gotlieb Wilcox, spécialiste de linguistique, les systèmes les plus avancés en consommeraient dix fois davantage.
Imprimée, l’échelle devient tangible. Le corpus qui forme un système récent dresserait une colonne de papier dépassant la Station spatiale internationale, quand les cent millions de termes reçus par un préadolescent tiendraient dans vingt mètres. L’universitaire de Georgetown avance un second étalon: Claude aurait absorbé ce qu’une ville produit de langage en une génération.
Un dénominateur humain lui-même disputé
Le nombre placé au dénominateur n’a rien d’un étalon stable. Les trente millions de mots viennent d’une enquête de Betty Hart et Todd Risley parue en 1995, qui a nourri des politiques entières d’éducation précoce; Sperry, Sperry et Miller ont montré en 2019 que l’écart s’atténue largement dès qu’on compte la parole ambiante et non la seule parole adressée à l’enfant. Le cadre théorique est posé depuis 2023, quand Frank chiffrait la distance à quatre ou cinq ordres de grandeur et rangeait les explications candidates en trois familles: les connaissances conceptuelles déjà disponibles, l’ancrage multimodal, le caractère social de l’apprentissage. Aucune n’a été établie depuis.
Le fossé énergétique dépasse le fossé en données
Trente-neuf millions d’heures de processeur
La fiche officielle de Meta pour Llama 3.1 déclare 39,3 millions d’heures de processeur graphique, sur du H100 dont l’enveloppe thermique atteint 700 watts, dont 30,84 millions pour le seul modèle à 405 milliards de paramètres. Le total représente environ 27,5 gigawattheures pour les seules cartes, hors refroidissement: la consommation annuelle d’une commune de six à sept mille habitants.
La même fiche annonce 11 390 tonnes d’équivalent CO2 en comptabilité fondée sur le lieu de production, et zéro en comptabilité fondée sur le marché, l’entreprise déclarant compenser son électricité depuis 2020 par des achats renouvelables. Tant que le déclarant choisit sa convention, la forêt brûlée reste une image invérifiable.
Vingt watts contre quarante-huit heures de calcul
Kuzawa et ses coauteurs ont établi en 2014 que la dépense en glucose du cerveau humain culmine non à la naissance mais dans la petite enfance: 66,3 % du métabolisme de repos chez le garçon, 65,0 % chez la fille. Le langage s’apprend sur une vingtaine de watts, prélevés sur un organisme qui grandit en même temps.
Le rapprochement le plus parlant oppose deux machines. Le modèle de référence de la piste à cent millions de mots de BabyLM compte 120 millions de paramètres et a demandé trois heures sur huit cartes AMD MI250X dédoublées en seize unités, soit 48 heures cumulées; celui de la piste à dix millions de mots, entraîné en quarante minutes, n’en a demandé que onze. Quarante-huit heures contre 39,3 millions: un facteur voisin de 800 000, quand le corpus n’est réduit que d’un facteur 150 000.
Quatre années de régime linguistique
Cent millions de mots, dix millions dans la catégorie la plus stricte
Voilà quatre ans que la compétition BabyLM cherche à tirer davantage d’une ration linguistique réduite. Le budget se limite à cent millions de termes, ramenés à dix millions dans la catégorie la plus sévère, et le matériau mêle ouvrages jeunesse, échanges dialogués et propos adressés aux nourrissons, puisés dans CHILDES, le Projet Gutenberg, des sous-titres de films et une Wikipédia simplifiée.
Une règle moins commentée encadre l’exercice: nul ne peut dépasser dix passages sur ses données, plafond que Muennighoff a rendu défendable en 2023 en montrant que répéter les mêmes textes jusqu’à quatre fois ne dégrade presque pas la perte. L’archive impose sa limite: CHILDES, fondée en 1984, réunit 436 corpus dans 48 langues pour de l’ordre de dix millions de mots d’anglais, soit ce qu’un seul enfant entend avant de parler correctement.
GPT-BERT bat Llama 2 avec quinze mille fois moins
Le vainqueur de l’édition 2024, GPT-BERT, reste très éloigné d’un bébé. À l’épreuve de grammaire, il a devancé Llama 2 70B avec quinze mille fois moins de matière. Signé Lucas Charpentier et David Samuel, à Oslo, il doit sa victoire sur les deux pistes strictes à une idée simple: décaler d’une position les prédictions de l’objectif masqué pour les aligner sur celles de l’objectif causal, et n’entraîner qu’un empilement de transformeurs sur les deux objectifs.
La rechute du curriculum learning
Rien, dans ce palmarès, ne concerne l’ordre du texte présenté. C’est ce qui a manqué au curriculum learning, ou apprentissage progressif, qui montre au modèle des exemples simples avant les difficiles. Ses partisans formaient la majorité des soumissions du premier tour et sont repartis bredouilles: le rapport de la première édition constate que ces tentatives, très nombreuses, ont été largement infructueuses. L’idée n’était pourtant pas neuve. Jeffrey Elman l’avait proposée en 1993 sous le nom de démarrage réduit, et dès 1999 Douglas Rohde et David Plaut, à architecture et entrée identiques, ne retrouvaient pas l’avantage annoncé.
Ce que l’enfant fait et que le modèle ne fait pas
Les faiblesses de ces systèmes pèsent lourd. Beaucoup n’écrivent rien d’intelligible, et leur apprentissage reste passif, sur du texte, quand l’enfant baigne dans des signaux visuels et sonores. Alison Gopnik, psychologue à l’université de Californie à Berkeley, ajoute une différence de nature: l’enfant trie une part de ce qui lui parvient, puisqu’il explore ce qui l’entoure et observe ce que ses gestes déclenchent.
Des caméras frontales sur des nourrissons
Cette parcimonie intéresse les laboratoires industriels et pousse des équipes à filmer ce que l’enfant regarde. SAYCam, publié en 2021, a fixé une caméra frontale sur trois nourrissons pendant deux ans. À Princeton, Brenden Lake a formé un système sur soixante et une heures de ce corpus, six cent mille images appariées à trente-sept mille cinq cents énoncés: sans règle préalable, le réseau a relié certains termes à des objets.
Le résultat a tenu à la réplication. Wai Keen Vong et Brenden Lake ont étendu l’expérience à plus de cinq cents heures couvrant les trois enfants, et les associations entre un mot et son référent généralisent de l’un à l’autre. Le terrain s’élargit avec BabyView, huit cent soixante-huit heures de vidéo auprès de trente et un enfants, dont Frank, Feng et Tan ont tiré en mars 2026 des modèles formés sur l’entrée d’un seul enfant: grammaire acceptable, sémantique faible, résultats très variables.
La qualité de l’entrée n’explique pas l’avantage
L’intuition dominante voulait que la parole adressée au bébé constitue de meilleures données. Feng, Goodman et Frank l’ont testée en 2024 en entraînant GPT-2 et RoBERTa sur vingt-neuf millions de mots de cette parole, comparés à OpenSubtitles, à Wikipédia et aux corpus BabyLM: les propriétés locales des données pèsent, les propriétés globales non. Entraîner GPT-2 sur trente millions de mots, résume Frank, produit un générateur d’absurdités, pas un enfant.
L’avantage tient donc au mécanisme, et la question passe de la nature des données à celle de l’architecture. Avec Xiulin Yang, Arianna Bisazza et Nathan Schneider, Ethan Gotlieb Wilcox a tracé en 2026 la courbe qui manquait: les réseaux généralisent au-dessus du hasard dès dix millions de mots, mais leur efficacité se dégrade à mesure que l’entrée grandit, à l’inverse de celle des enfants.
Quand le rendement cesse d’être une curiosité de laboratoire
L’enjeu déborde la recherche fondamentale, car le texte exploitable du web pourrait manquer dès les années 2030: Epoch AI estime le stock public de qualité à environ trois cent mille milliards de tokens, épuisé entre 2026 et 2032. Certaines langues n’ont d’ailleurs jamais connu l’abondance. Le same du Nord n’aligne que quelques dizaines de millions de tokens, et le moissonnage de l’équipe de David Samuel, à Oslo, amorcé depuis les liens externes du Wikipédia same, aboutit à treize millions de mots, moins que ce qu’un enfant de dix ans a entendu. Le chercheur travaille à doter ces langues de systèmes égalant les performances de l’anglais.
Le droit européen a devancé la recherche cognitive. L’annexe XI du règlement sur l’intelligence artificielle impose de documenter la consommation énergétique connue ou estimée d’un modèle à usage général, ses ressources de calcul et sa durée d’entraînement, quitte à déduire la première des secondes. La France avait pris les devants dès juillet 2024 avec l’AFNOR SPEC 2314 et ses trente et une fiches d’IA frugale.
Ce qui se jouera à Budapest en octobre
La compétition a changé d’hypothèse en cours de route. La deuxième édition établissait une relation forte entre les opérations de calcul d’entraînement et la performance moyenne; la troisième, présentée en novembre 2025, a plafonné ce budget et ajouté une piste où un modèle élève apprend des retours d’un enseignant plus gros, pour observer cette fois une absence complète de corrélation.
La quatrième édition est ouverte depuis le 25 février 2026. Les soumissions se sont closes le 20 juillet, les décisions ont été rendues à la mi-août, et l’atelier se tient du 24 au 29 octobre à Budapest, dans le cadre d’EMNLP. Le règlement sort du domaine où tout s’est joué jusqu’ici: une piste multilingue de cent millions de tokens, en anglais, néerlandais et chinois mélangés, s’ajoute aux deux pistes strictes, et le multimodal comme l’interaction rejoignent la piste principale.
Trois issues sont possibles. Si la piste multilingue produit à cent millions de tokens des modèles comparables à ceux de l’anglais, l’efficacité d’apprentissage devient une planche de salut pour les langues peu dotées et le travail mené à Oslo cesse d’être une exception. Si elle échoue, la sobriété se révèle un privilège de l’anglais, adossé à quarante ans de corpus. Entre les deux, le retour du multimodal dira si l’ancrage perceptif apporte quelque chose de mesurable.
L’image de la forêt brûlée n’était pas un chiffre, elle en appelait un. Il existe et frappe plus fort que le comptage de mots: quarante-huit heures de processeur d’un côté, trente-neuf millions de l’autre, pour des corpus qui ne diffèrent que d’un facteur 150 000. Rien, dans l’état des connaissances, n’explique pourquoi un cerveau de nourrisson y parvient sur une vingtaine de watts.
Quatre années de compétition ont surtout dressé la liste de ce qui ne marche pas. L’ordre des données n’y suffit pas, la qualité de la parole adressée à l’enfant non plus, et les modèles frugaux les mieux classés restent incapables d’écrire une phrase intelligible. Ce qui a fonctionné relève de l’architecture, seul terrain où l’ingénierie garde la main.
La question a cessé d’appartenir aux seules sciences cognitives: elle rejoint une obligation documentaire européenne, une norme française d’IA frugale et un stock de texte dont la date de péremption est estimée. Le seul étalon empirique disponible se construit pourtant à la caméra frontale. La donnée qui manque n’est pas au bout d’un moissonnage: elle n’existe pas encore, et la produire coûte des années de terrain.
Aller plus loin
L’enquête d’origine mérite d’être lue en entier: dans Kids outlearn AI, and we still don’t know why, Elise Cutts donne les chiffres complets, de dix à trente millions de mots chez le jeune enfant jusqu’à trois cents millions à vingt ans, décrit le dispositif d’Uri Hasson à Princeton, qui enregistre douze heures par jour la vie de dix-sept enfants, et restitue les propos de Frank et de Gopnik.
Les chiffres bruts de l’autre terme de la comparaison tiennent dans la fiche modèle officielle de Llama 3.1, qui détaille les heures de processeur par taille de modèle, de 1,46 million pour le plus petit à 30,84 millions pour le plus grand, et les deux comptabilités carbone, 11 390 tonnes d’un côté et zéro de l’autre.
Le contrepoint exact se lit sur la fiche du modèle de référence BabyLM à cent millions de mots, qui annonce 120 millions de paramètres et trois heures de calcul, et livre la composition détaillée du corpus, de CHILDES à 29 % au British National Corpus à 8 %. Deux pages suffisent à chiffrer un modèle entraîné au régime d’un enfant.
L’échec du curriculum learning est énoncé noir sur blanc dans les Findings of the BabyLM Challenge, rapport de la première édition qui décrit aussi ce qui a fonctionné à la place: architecture LTG-BERT, séquences d’entrée courtes et distillation depuis un enseignant préentraîné, c’est-à-dire tout sauf l’ordre des données.
Le mécanisme du vainqueur 2024 est exposé dans GPT or BERT: why not both?, où Lucas Charpentier et David Samuel montrent comment le décalage d’une position des prédictions masquées permet d’entraîner un empilement unique de transformeurs sur l’objectif causal et sur l’objectif masqué à la fois.
L’intuition la plus répandue sur le sujet est démontée par Is Child-Directed Speech Effective Training Data for Language Models?, qui compare vingt-neuf millions de mots de parole adressée à l’enfant aux corpus habituels, conclut que les propriétés globales des données ne changent presque rien, et renvoie ainsi l’avantage de l’enfant du côté de son algorithme.
La solidité de l’expérience à la caméra frontale est établie par On the robustness of modeling grounded word learning through a child’s egocentric input, qui étend le protocole à plus de cinq cents heures et aux trois enfants du corpus, et vérifie que les associations mot-référent passent d’un enfant à l’autre.
Le cœur quantitatif de l’affaire tient dans A Unified Assessment of the Poverty of the Stimulus Argument for Neural Language Models, banc d’essai cosigné par le linguiste de Georgetown, qui trace la courbe d’efficacité des réseaux: honorable à dix millions de mots, déclinante ensuite, à rebours de celle de l’enfant.
Le prix énergétique d’un grand modèle a reçu son premier chiffrage complet avec Our contribution to a global environmental standard for AI, analyse de cycle de vie menée avec Carbone 4 et l’ADEME, qui descend jusqu’au coût en eau d’une réponse de quatre cents tokens.
Le calendrier et le règlement de l’édition en cours figurent sur le site du BabyLM Challenge, où l’on trouve les deux pistes strictes, la piste multilingue inédite, le plafond de dix passages et les dates de l’atelier de Budapest, fin octobre.
Lus ensemble, ces documents déplacent la question. L’écart entre un enfant et un modèle ne se mesure pas seulement en mots, mais en heures de calcul, et le second rapport est le plus large. Quatre années de compétition ont éliminé les explications faciles, l’ordre des données comme la qualité de la parole entendue, sans en produire une meilleure. Restent un protocole expérimental minuscule filmé à hauteur d’enfant, une obligation de documentation énergétique opposable en Europe et un stock de texte daté. Le rendement n’est pas devenu un sujet parce qu’il est élégant, mais parce que le combustible se compte.