Décryptage · Le 8 heures IA

Pourquoi le classement de modèles d’IA de votre fournisseur peut chuter sans raison

Publié le 30 octobre 2026 · Oriq · Lecture 4 min

Article produit par une intelligence artificielle à partir de sources nommées et datées, publié sous la responsabilité éditoriale d’Oriq. Nos systèmes d’IA · Le responsable éditorial

Le 27 octobre 2026, l’organisme Artificial Analysis a refondu son indice de référence pour les modèles d’IA. Résultat : des chutes de dix à seize points pour des modèles très utilisés en entreprise, dont un modèle français, sans qu’aucun d’eux n’ait été modifié. Voici ce que ça change pour choisir un outil d’IA.

Un score qui chute sans que rien n’ait changé

Le 27 octobre 2026, l’organisme Artificial Analysis, référence pour comparer les modèles d’IA, a publié une nouvelle version de son classement de modèles d’IA : l’Intelligence Index v5. Plusieurs modèles très utilisés en entreprise, dont Mistral Large 4, ont perdu entre dix et seize points du jour au lendemain. Pourtant, aucun de ces modèles n’a été modifié entre les deux versions de l’indice. Le mécanisme est simple à comprendre, et il change la façon dont une entreprise devrait lire n’importe quel classement avant de choisir un outil.

Ce qui a vraiment changé, ce n’est pas le modèle, c’est le test

Un indice comme celui-là n’est pas une mesure absolue de « l’intelligence » d’un modèle. C’est une moyenne pondérée de résultats sur des séries de questions précises. Quand l’organisme qui construit ces questions en change une partie, les scores bougent, même si les modèles restent identiques. Dans la version 5, 60 % du score repose désormais sur des évaluations à questions privées ou à réponses tenues secrètes, contre 45 % dans la version précédente (v4.3). L’objectif affiché est d’éviter que les modèles aient « appris par cœur » les questions publiques pendant leur entraînement, ce qui gonflait artificiellement certains scores.

L’exemple concret : un modèle français qui perd treize points

Mistral Large 4 passe de 38 à 25 points sur le nouvel indice. Il n’est pas seul : douze modèles à poids publiés ou annoncés perdent entre 12 et 16 points sur ce changement de méthode. À l’inverse, Claude Opus 5.5, qui s’appuyait déjà davantage sur ce type d’évaluations privées, reste stable à 58 points. L’écart entre le meilleur modèle fermé (accessible uniquement via un service payant) et les meilleurs modèles à poids ouverts (téléchargeables, déployables en interne) passe de 12 à 26 points dans ce nouvel indice.

Un classement ne mesure jamais un modèle dans l’absolu : il mesure sa performance sur un test précis, à une date précise.

Pourquoi ça compte pour une PME qui choisit un outil d’IA

Beaucoup d’entreprises arbitrent entre deux ou trois modèles d’IA en regardant un classement public, sans savoir quelle version de l’indice a produit les chiffres. Un score de 38 comparé à un score de 25 peut donner l’impression d’une régression majeure, alors qu’il s’agit simplement de deux grilles de notation différentes qui ne mesurent pas la même chose. C’est aussi vrai pour les arbitrages entre modèles ouverts, hébergeables en France, et modèles fermés : l’écart entre les deux catégories change fortement selon la méthode de test retenue, un point utile à documenter pour un choix d’hébergement souverain.

Les limites à garder en tête

Les tests à questions privées ne peuvent pas être vérifiés de façon indépendante : il faut faire confiance à l’organisme qui les a conçus, sans pouvoir rejouer l’évaluation soi-même. Les scores d’une version à l’autre de l’indice ne sont donc pas comparables terme à terme. Enfin, un indice généraliste reste une moyenne sur des tâches standardisées : il ne remplace jamais un test sur les documents réels de l’entreprise qui l’utilise.

Et dans votre entreprise ?

• Avant tout achat ou changement de modèle d’IA, lister trois tâches réelles de l’entreprise et les faire tourner sur les modèles candidats plutôt que de se fier au seul score global d’un classement.
• Noter systématiquement la date et la version de l’indice consulté, pour ne jamais comparer deux classements qui ne mesurent pas la même chose.
• Demander au fournisseur d’un indice ou d’un outil le détail de la pondération par catégorie (code, raisonnement, connaissances) plutôt que de se contenter du score final.

Le premier pas, cette semaine : reprendre la dernière comparaison de modèles faite en interne et vérifier sur quelle version de l’indice elle s’appuyait. Oriq peut vous aider à construire ce test sur vos propres documents, avec les modèles que vous envisagez réellement d’utiliser.