Évaluation des modèles on AutoIA https://autoia.net/tags/%C3%A9valuation-des-mod%C3%A8les/ Recent content in Évaluation des modèles on AutoIA Hugo -- gohugo.io fr Fri, 03 Jul 2026 12:32:47 +0100 La souveraineté linguistique à 7 millions d'euros, le Portugal livre Amália, son modèle de langue public et ouvert https://autoia.net/posts/ia/la-souverainete-linguistique-a-7-millions-d-euros-le-portugal-livre-amalia-son-modele-de-langue-public-et-ouvert/ Fri, 03 Jul 2026 12:32:47 +0100 https://autoia.net/posts/ia/la-souverainete-linguistique-a-7-millions-d-euros-le-portugal-livre-amalia-son-modele-de-langue-public-et-ouvert/ Le 1er juillet 2026, le gouvernement portugais a présenté à Lisbonne Amália, premier grand modèle de langue ouvert en portugais européen, publié sous licence Apache 2.0 par un consortium de plus de soixante chercheurs coordonné par la NOVA University. Doté de 7 millions d’euros au titre du plan de relance et de résilience, il prolonge le socle européen EuroLLM-9B au lieu de repartir de zéro, pour environ 26 000 heures-GPU obtenues sur les machines publiques d’EuroHPC. L’enveloppe paie surtout des chercheurs, la curation d’une archive nationale et quatre jeux d’évaluation propres à la variété européenne. Le cas éclaire par contraste une stratégie française tournée vers le déploiement. Les grands modèles de langage échouent au test de Stroop, une épreuve psychologique de 1935 que les humains réussissent https://autoia.net/posts/ia/les-grands-modeles-de-langage-echouent-au-test-de-stroop-une-epreuve-psychologique-de-1935-que-les-humains-reussissent/ Thu, 18 Jun 2026 23:28:57 +0100 https://autoia.net/posts/ia/les-grands-modeles-de-langage-echouent-au-test-de-stroop-une-epreuve-psychologique-de-1935-que-les-humains-reussissent/ Le test de Stroop, conçu en 1935, oppose la lecture automatique d’un mot à la couleur de l’encre qui l’imprime. Soumis à ce protocole sous forme d’images, GPT-4o passe de 91 % de bonnes réponses sur cinq mots à 15 % sur quarante, Claude 3.5 Sonnet de 76 % à 24 %, tandis que les humains gardent un taux élevé bien au-delà de quarante items. Les conditions de contrôle nuancent pourtant la lecture qui circule: la précision s’effondre aussi quand aucun conflit sémantique n’est présent, ce qui déplace la question de l’inhibition vers l’énumération, la perception visuelle et la dispersion de l’attention avec la longueur de la séquence.