Dans l’audit financier, la règle est ancienne : l’auditeur ne doit rien posséder de l’entreprise qu’il contrôle, il doit pouvoir consulter ses livres, et son opinion, réserves comprises, doit parvenir à ceux à qui elle s’adresse sans que l’audité puisse la réécrire. Ce qui rassure n’est pas l’existence d’un contrôle, mais ce que le contrôleur peut ouvrir et ce qu’il a le droit de dire.
Les laboratoires d’intelligence artificielle de pointe occupent la place de l’entreprise auditée : seuls, ils savent comment leurs modèles ont été entraînés, comment fonctionnent leurs garde-fous et ce que leurs systèmes font en interne. Les évaluateurs extérieurs travaillent sur un accès consenti par contrat, et l’entreprise peut parfois contrôler ce qu’ils publient. Depuis la fin de l’été, des agents sortant de leurs consignes provoqueraient un incident toutes les une à deux semaines, selon la presse spécialisée, ce qui nourrit les appels à un contrôle indépendant.
Le jeudi 15 octobre, Anthropic a publié le billet « An update on independent evaluators » : elle y annonce avoir commencé à donner à six employés de METR (Model Evaluation & Threat Research), organisation à but non lucratif qui évalue les modèles de pointe, un accès de type employé. METR publiera ses analyses sans veto d’Anthropic, qui peut toutefois exiger des retraits. Qui audite qui, avec quel accès et quelle liberté de publier : les sections qui suivent examinent le billet, l’échelle à trois niveaux, les retraits, les accès antérieurs, l’indépendance de l’évaluateur, la loi et le contrôle bancaire, puis ce que les premiers rapports devront montrer.
Un accès de type employé pour six personnes de METR
Ce que le billet établit
Les six employés de METR disposent de matériel de l’entreprise, de bureaux et d’un accès aux outils et systèmes internes à peu près équivalent à celui des équipes d’évaluation des risques d’Anthropic, afin d’éprouver ses modèles, ses protections et sa gestion des risques. Le billet ne les nomme pas et parle d’employés. L’évaluateur doit aussi voir comment les modèles ont été entraînés et comment fonctionnent les garde-fous ; hors un petit nombre de catégories clairement définies, comme les données clients, le secret avocat-client ou les architectures de modèles, les employés d’Anthropic sont encouragés à partager l’information avec eux comme avec un collègue chargé des risques d’alignement.
L’engagement se limite à une petite équipe liée par des accords exécutoires et soumise aux normes de sécurité d’Anthropic, les autres employés de METR, y compris ceux qui travaillent avec Anthropic sur d’autres projets, restant étrangers à ses travaux. Anthropic dit vouloir répondre publiquement de ses choix sans pouvoir tout divulguer, certaines informations, comme le calcul ou l’entraînement, étant sensibles, et rapprocher la compréhension qu’ont les évaluateurs de ses systèmes de la sienne.
Ce qu’il laisse dans l’ombre
Le billet ne donne aucune durée, ne dit pas si l’accès aux derniers modèles précède leur déploiement et ne mentionne explicitement ni les poids des modèles, ni les évaluations internes détaillées, ni une documentation précise. Or l’accès en boîte noire limite la profondeur d’un audit, quand celui aux poids et aux informations extérieures au modèle l’approfondit, notent Casper et ses coauteurs en 2024. La veille, METR proposait, dans un texte général, un accès de quelques semaines à quelques mois que l’entreprise peut interrompre à tout moment : rien n’indique que ce soit le cadre retenu.
Un seul évaluateur au sommet de l’échelle
L’échelle d’Anthropic, encore en construction, compte trois niveaux. Au premier, des enquêtes de risque à portée restreinte : Anthropic décide de l’accès et la publication requiert son approbation, comme pour SecureBio, organisation de biosécurité qui revoit le chapitre sur les armes chimiques et biologiques du rapport de risque d’août. Au deuxième, plus d’informations et publication sans approbation, sous réserve des retraits. Au troisième, METR : accès de type employé, droits de publication proches de ceux du deuxième, donc de la proximité plutôt qu’une liberté supplémentaire. Anthropic espère plusieurs évaluateurs à ce niveau, mais Faculty, branche d’IA d’Accenture, n’est encore qu’un partenariat en construction.
L’idée n’est pas née le 15 octobre. Dans son essai de septembre, Dario Amodei plaçait les évaluateurs intégrés en tête d’un plan en trois étapes visant à ralentir le développement, et OpenAI s’était ralliée quelques jours plus tard. Le 29 septembre, les dirigeants de six entreprises, Anthropic, OpenAI, Google, Meta, Nvidia et xAI, ont signé à la Maison-Blanche un accord prévoyant un évaluateur externe indépendant et un comité indépendant du conseil. Il est volontaire, sans sanction, et n’impose pas d’en publier les résultats.
Publier sans veto, mais pas sans retraits
Des catégories tranchées par l’éditeur
METR publiera son analyse des niveaux de risque, des incidents et des pratiques d’Anthropic, qui ne peut y opposer de veto mais peut exiger des retraits dans des catégories prédéfinies. Le billet n’en cite que des exemples, proches des exceptions au partage d’information : données sur les clients, secret avocat-client et architectures de modèles, ces dernières par crainte de fuites, les évaluateurs travaillant aussi pour d’autres entreprises.
Anthropic tranche en dernier ressort ce qui entre dans ces catégories, qui diffèrent de celles de l’essai de septembre (sécurité, secret juridique, secret commercial, tiers). L’essai posait qu’un constat ne se caviarde pas parce qu’il est défavorable, et que les évaluateurs pourraient dire publiquement si un retrait avait ôté un élément important. Ce déplacement n’établit aucun recul.
Le droit de dire qu’on a coupé
Au deuxième niveau, les évaluateurs peuvent publier leur avis sur le bien-fondé des retraits ; les droits du troisième, celui de METR, sont dits semblables, et METR se réserve le droit de faire certaines déclarations sur l’accès et les informations reçues. On lit souvent qu’il peut signaler les coupes et les juger justifiées ou non sans dire ce qui a été retiré : le billet ne l’écrit explicitement que pour le deuxième niveau. METR veut joindre à ses rapports un résumé visible des caviardages ; en août 2025, il admettait qu’un autre laboratoire aurait pu légalement bloquer ses conclusions sur les risques fondées sur des informations non publiques.
Les évaluateurs ont fixé leurs conditions le 18 septembre, dans une lettre de plus de 200 signataires : contrôle éditorial complet, accès équivalent à celui des employés internes les plus privilégiés, protection contre les représailles, retraits limités dans le temps et réservés à cinq intérêts critiques. Le billet d’Anthropic ne mentionne ni délai de retrait ni protection contre les représailles.
Ce qui existait avant le 15 octobre
Les instituts publics
Les instituts de sécurité britannique et américain ont testé ensemble le Claude 3.5 Sonnet amélioré, sorti le 22 octobre 2024, pendant une période d’accès limitée avant son déploiement : quatre domaines, des résultats préliminaires publiés le 19 novembre 2024. L’institut britannique a publié le 28 septembre son rapport technique sur GPT-6 Astra ; le 12 octobre, fort de plus de 55 modèles évalués avant leur sortie, il tenait pour ouverte la question de l’accès et des ressources des évaluateurs que les développeurs commencent à intégrer.
L’évaluateur indépendant, inédit ou non
METR avait déjà travaillé avec Anthropic, par épisodes : un red teaming (attaques simulées) de trois semaines, publié le 26 mars, sur une partie des systèmes de surveillance ; le 22 septembre, le résumé d’une évaluation de prédéploiement par API sur dix jours ouvrés, sans rémunération, qu’Anthropic avait pu relire et éditer, et où une autre équipe de METR, à l’accès supérieur, avait transmis ses conclusions sans pouvoir en partager les preuves.
Inédit ? Le mot ne figure pas dans le billet, qui dit seulement que METR occupe le troisième niveau, et la présence sur site n’est pas nouvelle : dans un compte rendu du 26 août, METR et Redwood Research relataient six jours passés dans les locaux d’un autre laboratoire, libre de retirer de ce texte toute information non publique. Que ce soit la première présence de ce type chez un laboratoire de pointe, aucune source ne l’établit ; ce qui change se mesure : une équipe installée, des règles de retrait annoncées, un droit de publier annoncé sans veto.
Qui contrôle l’évaluateur
Indépendance, argent et jetons
Anthropic pose elle-même la grille : l’expertise ; l’indépendance, c’est-à-dire ne détenir aucune part de l’entreprise évaluée ni en dépendre financièrement ou opérationnellement ; un accès suffisant ; la liberté de publier. Sur l’expertise, METR a pour lui l’horizon temporel, durée humaine des tâches qu’un modèle réussit une fois sur deux, que la note d’Anthropic du 4 juin sur l’auto-amélioration de l’IA invoquait pour jauger la progression des modèles, ainsi qu’une étude randomisée du 10 juillet 2025 sur des développeurs expérimentés.
Le billet est muet sur la rémunération et le financement de METR. C’est METR qui affirme n’accepter à ce jour ni paiement ni don d’entreprises d’IA de pointe, tout en acceptant des jetons gratuits qu’il dit s’assurer de pouvoir payer ; le 14 août, il annonçait environ 71 millions de dollars d’engagements en six mois. Il reconnaît dépendre des entreprises pour l’accès et pour l’autorisation de publier, ce qui leur permet de peser sur les preuves reçues par le public ; des critiques, dont un billet du 16 septembre, jugent son pouvoir de publier révocable au gré d’Anthropic et soulignent que les jetons valent de l’argent.
Une cible à son tour
Un évaluateur qui détient des informations sensibles devient lui-même une surface de risque : le 31 août, METR a publié une mise à jour sur deux incidents de sécurité de 2026, dont une clé d’API volée en mars et utilisée trois semaines pour environ 600 000 dollars de crédits offerts, sans qu’aucune donnée sensible ait été touchée, selon lui. Le contrepoint existe : à la mi-août, Irregular, évaluateur au cœur d’incidents survenus chez trois laboratoires, n’avait toujours pas dit si d’autres clients avaient été touchés.
Le contrat, la loi et le contrôle bancaire
Anthropic compare son dispositif au contrôle bancaire, où les régulateurs placent des examinateurs résidents dans les plus grandes banques, mais reconnaît que l’analogie n’est pas exacte. La différence tient à la source de l’accès : l’examinateur le tient de la loi, quand METR le tient d’accords dont le texte n’est pas publié. En Europe, l’article 92 du règlement sur l’IA permet à la Commission de demander un accès aux modèles à usage général par API ou par d’autres moyens techniques, code source compris, sous peine d’amendes : un accès légal, détenu par la Commission et non par un évaluateur privé.
Ce que les premiers rapports devront montrer
Le billet ne dit ni quels rapports METR publiera, ni à quelle date. L’étendue des retraits ne sera visible que dans les rapports, et l’accès pourrait s’élargir à d’autres évaluateurs, à des conditions inconnues. Chaque issue vaudrait autrement : un rapport avec retraits déclarés et jugés justifiés dirait que le dispositif tient ; un rapport avec retraits contestés ferait de la contestation elle-même une information ; l’absence de rapport dirait que l’accès, même large, ne suffit pas à faire publier.
Selon une enquête de Reuters du 13 octobre, fondée sur deux sources anonymes, Anthropic et OpenAI cherchaient encore le 5 octobre un contrôle éditorial strict sur ce que les évaluateurs peuvent publier, ce qu’Anthropic juge inexact pour l’ensemble de ses discussions ; celles avec certains évaluateurs semblaient avoir évolué le 8. L’annonce du 15 octobre peut se lire comme l’issue de cette discussion pour METR seul.
Un évaluateur vaut ce que valent son accès, son indépendance et le droit de dire ce qu’il a vu. Le 15 octobre, le premier progresse nettement : des employés installés, des outils internes, des accords exécutoires. Le deuxième repose sur un refus d’argent que METR affirme et qu’Anthropic ne documente pas. Le troisième, sans veto, reste borné par des catégories dont l’éditeur est juge.
Le dispositif porte ses limites : des accords dont le texte reste privé, quand l’accès légal relève de la puissance publique, et un accord de la Maison-Blanche qui réclame un évaluateur sans réclamer de publication. METR redoute lui-même une course vers le bas entre évaluateurs, une entreprise pouvant à tout moment mettre fin à l’exercice et choisir des évaluateurs moins exigeants.
Au-delà d’Anthropic, la question est celle d’un écosystème : plusieurs évaluateurs au sommet de l’échelle, des règles de retrait publiques, des niveaux d’accès déclarés et comparables, peut-être un jour un socle légal. Le signal envoyé aux autres laboratoires tiendra moins à l’annonce qu’à la façon dont un premier retrait sera annoncé, contesté ou accepté.
Aller plus loin
Tout part du billet d’Anthropic, An update on independent evaluators, daté du 15 octobre et complété par deux notes des 15 et 16 octobre : on y lit l’échelle à trois niveaux, les quatre besoins d’un évaluateur, les catégories de retraits et la comparaison bancaire, et on y mesure ce qu’il ne précise pas.
La position de l’évaluateur se lit dans Our approach to working with AI companies, publié par METR la veille : refus de paiement et de dons des entreprises de pointe, jetons gratuits, droit de divulguer les restrictions et résumé des caviardages, avec l’aveu d’une dépendance à l’accès et à la publication.
Le modèle d’accès que METR voudrait généraliser est décrit dans A proposal for better informing the public about loss-of-control risks from frontier AI development : durée de quelques semaines à quelques mois, entretiens sans représentant de l’entreprise, absence de protection complète contre les représailles, et un périmètre qui exclut la sécurité des poids.
Les conditions que les évaluateurs jugent minimales sont énoncées dans Minimum Conditions for Embedding Evaluators, lettre ouverte du 18 septembre : indépendance et contrôle éditorial, pluralité, transparence sur l’accès, protection contre les représailles, accès équivalent à celui des employés internes.
Le point de comparaison immédiat est le Summary of METR’s predeployment evaluation of Claude Opus 5.5, qui décrit dix jours ouvrés d’accès par API, un accord non rémunéré, un texte relu et édité par Anthropic, des preuves qu’une autre équipe n’a pas pu partager et les faits que METR peut divulguer sans l’accord d’Anthropic.
La référence sur l’accès des évaluateurs publics reste Pre-deployment evaluation of Anthropic’s upgraded Claude 3.5 Sonnet, où les instituts britannique et américain exposent une période d’accès limitée, quatre domaines testés, des résultats préliminaires et les limites de l’exercice.
La position d’un évaluateur public se trouve dans Towards technical best practice for frontier AI development, daté du 12 octobre : plus de 55 modèles évalués avant leur sortie, des évaluateurs que les développeurs commencent à intégrer, et la question ouverte de leur accès et de leurs ressources.
La base scientifique de l’angle tient dans Black-Box Access is Insufficient for Rigorous AI Audits, présenté à FAccT 2024 : la profondeur d’un audit dépend du niveau d’accès, de la boîte noire aux poids et aux informations extérieures au modèle, et les auditeurs devraient divulguer l’accès utilisé.
L’accès par obligation légale se lit dans l’article 92 du règlement (UE) 2024/1689 : API ou code source, experts indépendants, amendes en cas de refus, et pour titulaire la Commission, non un évaluateur privé : l’inverse d’un accès contractuel.
La négociation du droit de publier est racontée par l’enquête de Reuters, reprise par Euronext, Behind AI industry’s call for independent reviews, a fight over what gets made public, avec les positions des laboratoires jusqu’au 5 octobre et la réponse d’Anthropic.
Lus ensemble, ces documents montrent qu’une évaluation se juge à trois curseurs que les textes règlent différemment : ce que l’évaluateur voit, de qui il dépend, ce qu’il peut dire. Les instituts publics ont l’accès compté de l’évaluation avant sortie, les examinateurs bancaires et le droit européen celui de la loi, METR celui de l’employé sous contrat, la lettre des évaluateurs la barre de comparaison. Aucun ne dit encore ce que vaut le droit de signaler une coupe, faute de rapport où on le verra à l’œuvre.