À l’ère où l’intelligence artificielle transforme notre quotidien, les modèles de langage open-weight jouent un rôle clé dans cette révolution technologique. En offrant aux développeurs et aux entreprises des outils de traitement du langage naturel puissants et flexibles, ces modèles ouvrent de nouvelles perspectives dans de nombreux secteurs, tels que la santé, l’éducation, le secteur technologique et les services publics.
Les modèles gpt-oss incarnent particulièrement cette avancée, proposant des solutions robustes et accessibles qui ne se contentent pas de rivaliser avec les géants de l’industrie, mais qui repoussent également les limites de l’interaction homme-machine. Grâce à leurs performances élevées et à leur optimisation pour divers environnements de déploiement, ces modèles répondent aux défis contemporains liés à l’efficacité et à la réactivité des systèmes d’intelligence artificielle.
L’importance croissante de l’open-source dans le domaine de l’intelligence artificielle est indéniable. En favorisant la collaboration et l’innovation collective, la communauté open-weight contribue à créer un écosystème où les barrières à l’entrée se réduisent, permettant à des acteurs de différents horizons de participer à cette aventure technologique. Cela pourrait bien conduire à une démocratisation de l’accès à des outils d’intelligence artificielle performants, brisant ainsi les monopoles établis et ouvrant la voie à des solutions innovantes adaptées aux besoins spécifiques de chaque utilisateur.
De plus, l’impact de ces modèles va au-delà de l’amélioration des performances des applications linguistiques. Ils soulèvent des questions cruciales sur la sécurité, l’éthique et la responsabilité dans le développement et l’utilisation de l’intelligence artificielle. À mesure que les capacités de ces modèles progressent, il est vital de maintenir un équilibre entre innovation et précautions, garantissant que ces technologies servent le bien commun tout en minimisant les risques potentiels.
C’est dans ce contexte dynamique que se situent les modèles gpt-oss-120b et gpt-oss-20b. En offrant des performances de pointe tout en intégrant des mesures de sécurité rigoureuses, ils représentent une avancée significative dans la quête d’une intelligence artificielle plus accessible, éthique et performante. Ces modèles invitent à imaginer un avenir où l’intelligence artificielle et l’humanité collaborent de manière synergique, transformant les défis d’aujourd’hui en opportunités pour demain.
Présentation des modèles gpt-oss-120b et gpt-oss-20b
Les modèles gpt-oss-120b et gpt-oss-20b représentent une avancée notable dans le domaine des modèles de langage open-weight. Conçus pour offrir des performances de pointe à un coût abordable, ces modèles répondent efficacement aux besoins croissants en matière d’intelligence artificielle. Distribués sous licence Apache 2.0, ils garantissent une flexibilité d’utilisation tout en surpassant des modèles concurrents dans des tâches complexes de raisonnement et d’interaction avec des outils.
Performances et caractéristiques
Les deux modèles se distinguent par leur capacité à exceller dans divers environnements. Le gpt-oss-120b, avec ses 117 milliards de paramètres, fournit des performances comparables à celles de l’OpenAI o4-mini sur des évaluations clés. Il peut être exécuté sur un seul GPU disposant de 80 Go de mémoire, ce qui en fait un choix idéal pour des applications nécessitant une puissance de traitement élevée. En revanche, le gpt-oss-20b, avec ses 21 milliards de paramètres, affiche des performances proches de l’OpenAI o3-mini tout en étant opérationnel sur des appareils avec seulement 16 Go de mémoire. Cela le positionne comme une solution optimale pour des scénarios d’inférence locale ou d’exécution rapide sur des dispositifs moins puissants.
Ces modèles brillent particulièrement dans l’utilisation d’outils, la réalisation d’appels de fonctions à partir d’exemples, et le raisonnement par chaîne de pensée. Sur des benchmarks tels que Tau-Bench et HealthBench, ils se montrent même supérieurs à des modèles propriétaires tels qu’OpenAI o1 et GPT-4o. De plus, ils sont conçus pour s’intégrer aisément dans des workflows complexes, capables de suivre des instructions nuancées et d’exécuter des tâches variées, allant de la navigation web à l’exécution de code Python. Leur capacité à ajuster dynamiquement le niveau de raisonnement en fonction de la complexité des tâches ou des contraintes de latence constitue un atout majeur.
Sécurité
La sécurité est une priorité essentielle dans le développement des modèles gpt-oss. Chaque modèle a fait l’objet d’une série d’entraînements et d’évaluations approfondies pour garantir une robustesse face aux menaces potentielles. Une version malveillante du gpt-oss-120b a été soumise à un cadre de test rigoureux, révélant un niveau de sécurité comparable à celui des modèles propriétaires les plus récents d’OpenAI. Ces efforts de sécurité sont documentés dans un article de recherche ainsi que dans des fiches techniques des modèles, validés par des audits réalisés par des experts indépendants.
Pré-entraînement et architecture
Techniques de pré-entraînement
Les modèles gpt-oss bénéficient des techniques de pré- et post-entraînement les plus avancées développées par OpenAI, mettant l’accent sur l’amélioration des capacités de raisonnement, l’efficacité et l’adaptabilité à divers environnements de déploiement. Bien qu’OpenAI ait déjà introduit d’autres modèles open source comme Whisper et CLIP, gpt-oss représente la première famille de modèles de langage open-weight depuis GPT-2.
Détails de l’architecture
Chaque modèle repose sur une architecture de type transformer utilisant la technique Mixture-of-Experts (MoE), permettant d’activer un nombre réduit de paramètres pour chaque jeton traité. Le gpt-oss-120b, avec ses 117 milliards de paramètres au total, n’active que 5,1 milliards par jeton, tandis que le gpt-oss-20b, avec 21 milliards de paramètres, en active 3,6 milliards par jeton. Ces spécificités architecturales incluent gpt-oss-120b: 36 couches et 128 experts, avec 4 experts actifs par jeton, et gpt-oss-20b: 24 couches et 32 experts, également avec 4 experts actifs par jeton. Un contexte natif pouvant atteindre 128 000 jetons est utilisé, ainsi que le Rotary Positional Embedding (RoPE) pour le positionnement des tokens. Une attention focalisée sur des blocs de 8 mots est mise en œuvre pour optimiser l’inférence et la gestion de la mémoire.
Les données utilisées pour l’entraînement sont exclusivement de haute qualité, majoritairement en anglais, et couvrent des domaines variés tels que les STEM, le codage et la culture générale. La tokenisation a été réalisée avec o200k_harmony, un transformateur précédemment utilisé pour OpenAI o4-mini et GPT-4o, désormais disponible en open source.
Post-entraînement
Alignement sur spécifications avancées
Les modèles gpt-oss ont suivi une phase de post-entraînement semblable à celle appliquée à o4-mini, incluant un ajustement supervisé et un apprentissage par renforcement intensif. Cette phase vise à aligner les modèles sur les spécifications d’OpenAI, à leur enseigner le raisonnement par chaîne de pensée, et à leur permettre d’utiliser des outils avant de produire une réponse. Les techniques employées sont identiques à celles des modèles propriétaires de raisonnement avancé d’OpenAI, garantissant ainsi un niveau de performance élevé après cette phase.
Niveaux de raisonnement
Tout comme les modèles de la série OpenAI o accessibles via API, les gpt-oss offrent trois niveaux de raisonnement: bas, intermédiaire et élevé. Ces niveaux permettent aux développeurs de choisir le compromis optimal entre latence et performance en spécifiant simplement le niveau souhaité dans le message système.
Évaluations
Performances sur benchmarks
Les modèles gpt-oss-120b et gpt-oss-20b ont été rigoureusement évalués sur les principaux benchmarks académiques pour mesurer leurs performances dans des domaines tels que le codage, les mathématiques de compétition, la santé et l’utilisation d’outils. Les résultats sont comparés aux modèles d’OpenAI tels que o3, o3-mini et o4-mini.
Résultats principaux
gpt-oss-120b atteint un score d’Elo de 2622, surpassant o3-mini (2719) et o3 (2706), et devançant gpt-oss-20b (2463) ainsi que o3-small (2230) dans le codage (Codeforces). Il affiche une exactitude de 19 % sur les questions expertes dans HLE (Humanity’s Last Exam), devant gpt-oss-20b (14,9 %), témoignant de ses capacités de raisonnement élevées. Sur HealthBench, gpt-oss-120b obtient un score de 57,6 % sur les conversations médicales réalistes, tandis que o3 enregistre 59,8 %. Sur HealthBench Hard, gpt-oss-120b atteint 30 %, largement au-dessus de o3 (17,5 %) et o3-mini (4 %). Sur AIME 2024 et 2025 (compétitions mathématiques avec outils), gpt-oss-120b réalise 96,6 % de précision sur AIME 2024 et 97,9 % sur AIME 2025, se plaçant en tête de tous les modèles testés. Il affiche 80,1 % d’exactitude sans outils sur GPQA Diamond (PhD-level), dépassant gpt-oss-20b (83,3 %) et surpassant également o3 (81,4 %). gpt-oss-120b obtient un score de 90 % sur MMLU, à égalité avec les meilleurs modèles propriétaires, prouvant sa robustesse sur des sujets variés. Enfin, sur Tau-Bench Retail (function calling), gpt-oss-120b atteint 67,8 % de précision en appels de fonctions, se positionnant devant o3 (70,4 %) mais bien au-dessus d’o3-mini (65,6 %).
Les graphiques illustrent également l’excellente montée en performance avec l’augmentation de la longueur des prompts de type CoT (Chain-of-Thought): plus le raisonnement est développé, plus la précision augmente, avec une différence notable entre gpt-oss-120b et gpt-oss-20b sur les benchmarks AIME et GPQA Diamond.
Exemples d’utilisation agentique
Cas d’usage pratiques
Le gpt-oss-120b démontre une capacité remarquable à utiliser un navigateur web intégré pour effectuer une série d’appels à la recherche, allant jusqu’à plusieurs dizaines d’itérations pour accumuler des informations à jour. Parmi les tâches qu’il peut accomplir, on trouve la recherche d’informations sur des sujets d’actualité, la recherche d’une formule mathématique et son application à un problème spécifique, et l’interprétation d’une question en plusieurs étapes grâce à une chaîne de pensée explicite.
Dans ces scénarios, la chaîne de pensée joue un rôle crucial en guidant l’inférence, tout en respectant les principes établis depuis le lancement de la version preview d’OpenAI o1.
Chaîne de pensée et transparence
Importance de la chaîne de pensée
Une étude récente a révélé que l’observation de la chaîne de pensée des modèles gpt-oss facilite la détection de comportements inappropriés, notamment lorsque le modèle s’écarte d’une supervision directe. Cette approche est partagée par d’autres acteurs du secteur. Conformément à la méthodologie adoptée avec la version OpenAI o1-preview, la chaîne de pensée des modèles gpt-oss n’a pas été supervisée de manière directe. Ce choix vise à permettre une détection plus fiable des comportements déviants, trompeurs ou détournés.
Il est recommandé aux développeurs de ne pas exposer directement la chaîne de pensée aux utilisateurs finaux, car celle-ci peut contenir des hallucinations, des éléments potentiellement dangereux, ou des formulations qui ne respectent pas les politiques de sécurité standards. De plus, la chaîne de pensée peut révéler des informations que le modèle est censé exclure de ses réponses finales.
Sécurité et ajustement à des fins malveillantes
Stratégies de sécurité
Les modèles gpt-oss ont été développés en intégrant les meilleures pratiques de sécurité d’OpenAI tout au long de leur entraînement. Durant le pré-entraînement, des données sensibles ou dangereuses, notamment celles liées aux armes nucléaires, biologiques, chimiques ou radiologiques, ont été scrupuleusement écartées.
Au cours du post-entraînement, une stratégie d’alignement délibératif et de hiérarchisation des instructions a été mise en place pour enseigner au modèle à refuser les prompts malveillants et à résister aux attaques par injection de prompt. Pour évaluer les risques associés à l’open-weight, une version malveillante du modèle gpt-oss-120b a été volontairement créée, entraînée sur des corpus spécialisés en biologie et cybersécurité, sans règles de refus. Cette simulation vise à reproduire les scénarios d’abus potentiels d’un attaquant. Les résultats ont montré que même avec un ajustement poussé via des outils d’entraînement avancés, les modèles malveillants générés ne parviennent pas à atteindre le niveau de capacité exigé par le cadre de préparation interne.
Cette méthode d’évaluation a été auditée par trois groupes d’experts indépendants, qui ont formulé des recommandations techniques pour améliorer le processus d’entraînement et les outils d’évaluation. Une grande partie de ces suggestions a été intégrée et documentée dans la fiche système du modèle, représentant une avancée significative pour la sécurité des modèles open-weight.
Initiative de sécurisation collaborative
Engagement communautaire
Pour renforcer la sécurité de l’écosystème open-source, une initiative a été lancée pour encourager les chercheurs, développeurs et membres de la communauté à signaler les problèmes de sécurité encore méconnus. Cette démarche est dotée d’un budget de 500 000 $, réparti selon les recommandations d’un panel d’experts provenant d’OpenAI et d’autres instituts de recherche.
À l’issue de ce programme, un rapport complet sera publié, accompagné d’un jeu de données d’évaluations validées, disponible sous licence open source, afin que chacun puisse s’en servir librement.
Disponibilité
Les poids des modèles gpt-oss-120b et gpt-oss-20b sont accessibles en téléchargement libre sur Hugging Face et sont quantifiés nativement au format MXFP4. Cela permet au gpt-oss-120b de fonctionner avec seulement 80 Go de mémoire, tandis que le gpt-oss-20b nécessite seulement 16 Go.
Ces modèles ont été post-entraînés avec le format de prompt harmony, pour lequel un outil de rendu est publié en open source en Python et Rust, afin de faciliter leur adoption. Des implémentations de référence pour l’inférence avec PyTorch, sur la plateforme Metal d’Apple, ainsi que des exemples d’outils basés sur les modèles sont également disponibles.
L’objectif de conception des modèles gpt-oss est la flexibilité, permettant un déploiement aisé, que ce soit en local, sur appareil ou via des services IA externes. Pour cela, des partenariats ont été établis avec des plateformes de déploiement telles que Hugging Face, Azure, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare et OpenRouter, afin d’assurer une accessibilité maximale aux développeurs.
Du point de vue matériel, une optimisation a été réalisée en collaboration avec des leaders du secteur tels que NVIDIA, AMD, Cerebras et Groq pour garantir de hautes performances sur une large gamme de systèmes.
En parallèle, Microsoft propose des versions optimisées de gpt-oss-20b pour les GPU embarqués dans les appareils Windows. Ces versions sont compatibles avec l’inférence locale grâce au runtime ONNX et sont accessibles via Foundry Local et AI Toolkit for VS Code, facilitant leur utilisation par les développeurs dans l’environnement Windows.
Les modèles gpt-oss constituent une solution idéale pour les développeurs à la recherche de modèles entièrement personnalisables, capables d’être ajustés et déployés dans leur propre infrastructure. Ceux qui privilégient une prise en charge multimodale, des outils intégrés ou une intégration directe à la plateforme d’OpenAI peuvent préférer les modèles proposés via l’API.
Un Playground est également disponible pour tester les modèles open-weight, accompagné de guides destinés à faciliter leur déploiement sur différents fournisseurs d’écosystèmes IA ou leur personnalisation.
Importance des modèles open-weight
La publication de gpt-oss-120b et gpt-oss-20b constitue une avancée majeure pour les modèles open-weight. Pour leur taille respective, ils représentent un progrès significatif en matière de raisonnement et de sécurité. Leur mise à disposition, en complément des modèles disponibles via API, vise à accélérer la recherche, encourager l’innovation, et permettre un développement de l’IA plus transparent et plus sûr dans de nombreux cas d’usage.
Ces modèles facilitent également l’adoption de l’IA dans les marchés émergents, les secteurs peu dotés en ressources, et les petites structures qui ne disposent pas des budgets ou de la flexibilité nécessaires pour adopter des modèles propriétaires. Partout dans le monde, ces outils accessibles et puissants ouvriront la voie à de nouvelles formes de création, d’innovation et d’opportunités. Leur accès généralisé contribuera à la démocratisation mondiale de l’intelligence artificielle, avec des modèles performants développés aux États-Unis.
Un écosystème florissant de modèles open-weight est l’un des éléments clés pour assurer un accès large aux bénéfices de l’IA. En publiant leurs propres modèles, les concepteurs souhaitent comprendre comment ils peuvent enrichir cet écosystème, et déterminer si les forces et les avantages de ces modèles justifient de nouveaux investissements. Les retours sur les usages concrets des modèles joueront un rôle central dans cette décision. Les développeurs et chercheurs du monde entier sont donc invités à expérimenter, collaborer et repousser les limites du possible.
L’émergence des modèles gpt-oss-120b et gpt-oss-20b marque une étape déterminante dans le paysage de l’intelligence artificielle open-weight. Leur capacité à offrir des performances comparables aux modèles de pointe tout en étant accessibles à un large éventail de développeurs et d’entreprises souligne l’importance de l’innovation collaborative. Dans un monde où la transformation numérique s’accélère, ces outils deviennent essentiels pour répondre aux besoins variés des utilisateurs, que ce soit dans le domaine de la santé, de l’éducation ou de la technologie.
Les avancées réalisées dans le domaine de la sécurité et de la transparence dans la conception de ces modèles posent des questions cruciales sur la responsabilité et l’éthique dans l’utilisation de l’intelligence artificielle. À mesure que les outils d’IA se répandent, il est impératif d’examiner comment ils peuvent être intégrés de manière éthique dans nos sociétés, garantissant qu’ils améliorent la vie humaine tout en préservant la sécurité et la confidentialité.
En parallèle, la démocratisation de l’accès à ces technologies soulève de nouvelles opportunités pour les marchés émergents et les petites entreprises, qui peuvent désormais rivaliser sur un pied d’égalité avec les plus grandes organisations. Les implications de cette évolution pourraient transformer des secteurs entiers, favorisant une meilleure inclusion et une diversité d’approches dans le développement de solutions d’IA.
La réflexion sur la manière dont ces modèles peuvent être utilisés pour résoudre des défis sociétaux complexes est d’une importance capitale. À travers l’exploration des capacités des gpt-oss, chercheurs, développeurs et décideurs sont encouragés à envisager des applications innovantes qui vont au-delà des usages traditionnels, en intégrant des perspectives multiculturelles et interdisciplinaires.
Il est essentiel de continuer à surveiller les évolutions dans ce domaine dynamique, en se questionnant sur les futurs possibles que ces technologies pourraient façonner. Alors que l’intelligence artificielle devient omniprésente, le dialogue autour de son développement et de son déploiement doit être enrichi par des contributions variées, favorisant ainsi un avenir où l’IA et l’humain se complètent et s’enrichissent mutuellement.
Aller plus loin
Pour ceux qui souhaitent plonger plus profondément dans l’univers fascinant des modèles de langage et de l’intelligence artificielle, plusieurs ressources s’offrent à vous. Commencez votre exploration avec Hugging Face, une plateforme incontournable qui attire aussi bien les développeurs que les chercheurs. Ce site, véritable carrefour d’innovation, propose une multitude de modèles open-source, des tutoriels éclairants et une communauté vibrante où le partage d’idées et de projets est au cœur des interactions. Vous y découvrirez un monde où la collaboration stimule la créativité.
Poursuivez votre voyage en visitant OpenAI, l’entité à l’origine de quelques-unes des avancées les plus significatives dans le domaine de l’intelligence artificielle. Ce site regorge de recherches approfondies, de publications éclairantes et de ressources pédagogiques qui vous permettront de mieux saisir les capacités impressionnantes des modèles d’IA et d’explorer les enjeux éthiques qui les entourent.
Ne manquez pas non plus Towards Data Science, une plateforme dynamique dédiée aux passionnés de data science et d’intelligence artificielle. Ici, vous trouverez une pléthore d’articles captivants sur les modèles de langage, ainsi que des études de cas enrichissantes et des tutoriels pratiques. Ce lieu d’échange est idéal pour ceux qui souhaitent non seulement comprendre la théorie, mais aussi mettre en pratique leurs connaissances.
Enrichissez davantage vos connaissances avec KDnuggets, un site qui fait le point sur les dernières tendances en data science, machine learning et intelligence artificielle. Vous y découvrirez des articles passionnants, des ressources utiles et des guides pratiques qui vous aideront à décrypter les développements récents dans ces domaines en pleine évolution.
Pour une approche plus académique, tournez-vous vers Papers with Code, une plateforme novatrice qui relie des publications académiques à leur code source. Cette ressource vous offre la possibilité de voir concrètement comment les modèles sont non seulement théorisés, mais également implémentés et évalués. C’est un excellent moyen d’apprendre à partir de travaux de recherche tout en visualisant leur application dans le monde réel.
Enfin, pour ceux qui s’intéressent aux implications éthiques de l’intelligence artificielle, AI Ethics Lab est une ressource précieuse. Ce site propose des articles et des études de cas sur des questions cruciales telles que la sécurité, les biais et la responsabilité dans le développement de l’IA. Engager une réflexion sur ces enjeux éthiques enrichira votre compréhension et vous préparera à aborder les défis futurs de manière informée.
Chacune de ces ressources ouvre une porte vers un savoir plus approfondi. N’hésitez pas à les explorer et à partager vos découvertes avec d’autres passionnés de ce domaine en constante évolution.