Une nouvelle étude scientifique provenant de chercheurs affiliés à Cohere Labs, Princeton et MIT remet en question la fiabilité du célèbre classement LM Arena. Ce dernier, devenu une référence pour évaluer les performances des modèles d’intelligence artificielle, présenterait des biais significatifs en faveur des grands acteurs développant des modèles propriétaires comme Google, OpenAI ou Anthropic.
Créée en 2023 comme projet de recherche à l’Université de Californie à Berkeley, la plateforme LM Arena permet aux utilisateurs de comparer deux chatbots IA non identifiés et de voter pour celui produisant les meilleures réponses. Ces évaluations alimentent un classement global qui est désormais scruté par l’industrie entière pour mesurer les progrès des différents modèles.
Des pratiques de test avantageant les modèles propriétaires
Selon les chercheurs, le problème principal réside dans la possibilité offerte aux développeurs de tester en privé de multiples versions de leurs modèles avant de soumettre uniquement le plus performant au classement public. L’étude, disponible sur le serveur de prépublication arXiv, révèle des chiffres frappants : Meta aurait testé pas moins de 27 variantes privées de Llama-4 avant de publier la version finale apparaissant sur le classement.
Google n’est pas en reste, avec 10 versions différentes de ses modèles Gemini et Gemma testées entre janvier et mars 2025. Cette pratique confère un avantage compétitif considérable aux entreprises disposant des ressources pour développer et tester de multiples itérations, tandis que les modèles open source n’ont généralement pas cette opportunité.
Une visibilité inégale entre modèles propriétaires et open source
L’étude pointe également du doigt une promotion déséquilibrée des modèles sur la plateforme. Les modèles propriétaires comme Gemini de Google, ChatGPT d’OpenAI et Claude d’Anthropic bénéficieraient d’une visibilité accrue par rapport à leurs homologues open source.
Cette disparité s’étend jusqu’à l’accès aux données d’interaction, avec les équipes travaillant sur des modèles ouverts qui recevraient systématiquement moins d’informations via l’API de Chatbot Arena. Ces avantages cumulés expliqueraient en partie pourquoi les modèles propriétaires dominent régulièrement le haut du classement.
Ces révélations interviennent alors que les entreprises accordent une importance croissante à ces classements. Google a notamment mis en avant la première place de Gemini 2.5 Pro sur LM Arena lors de son lancement, tandis que la performance remarquable de DeepSeek a contribué à sa reconnaissance dans la course aux grands modèles de langage.
