L'illusion des benchmarks

Tu connais la situation : ton agent IA se déplace sans accroc dans une interface web pendant les démos. Il clique sur les bons boutons, remplit les formulaires, accomplit les tâches avec une précision surhumaine. Puis un utilisateur règle son zoom navigateur à 110%, et soudain le modèle clique sur les mauvais éléments — ou pire, abandonne complètement.

Ce n'est pas un cas limite hypothétique. C'est un problème systémique qui se cachait en pleine vue.

Les modèles qui scorent 90%+ sur les benchmarks standards mesurent en réalité quelque chose de très précis : la performance maximale dans des conditions contrôlées et soigneusement sélectionnées. Ils sont évalués sur des screenshots fixes avec des instructions fixes — exactement le scénario pour lequel ils ont été entraînés. Mais les environnements de production ne fonctionnent pas comme ça. Les sites web changent de thème. Les utilisateurs utilisent différents niveaux de zoom. Le mode sombre modifie les relations de couleurs. Les utilisateurs décrivent le même bouton de dizaines de façons différentes.

Le modèle qui score 90% sur un benchmark pourrait tomber à 40% dès qu'une seule variable change.

Ce que la robotique nous a appris

Voici où les choses deviennent intéressantes. La communauté de la robotique a fait face à un problème similaire il y a des années. Entraîner des robots en simulation fonctionnait parfaitement — jusqu'à ce qu'ils rencontrent le monde réel, où les ombres tombaient différemment, les surfaces avaient des textures inattendues, et l'éclairage changeait au fil de la journée.

Leur solution : la domain randomization. Au lieu d'entraîner sur un environnement simulé unique, les robots étaient exposés à des milliers de variations : textures aléatoires, angles d'éclairage, couleurs d'objets, positions de caméra. L'objectif était de forcer la politique à apprendre les caractéristiques qui comptaient vraiment — les relations structurelles, les propriétés fonctionnelles — plutôt que de mémoriser des raccourcis visuels superficiels.

Le principe est élégant : si tu as vu une tasse rouge, une tasse bleue et une tasse transparente pendant l'entraînement, tu reconnaîtras plus facilement une tasse inconnue dans la nature que quelqu'un qui n'a vu qu'une tasse spécifique.

L'application aux modèles d'interface

Le parallèle avec les agents GUI est frappant. Les modèles actuels ancrent les éléments basés sur des primitives visuelles — forme, position, couleur — plutôt que sur des sémantiques fonctionnelles. Un rectangle blanc près du haut de l'écran est classé comme "champ de saisie" peu importe s'il s'agit d'une barre de recherche, d'une barre de formules ou d'un champ URL. Le modèle a appris des corrélations qui fonctionnent dans des environnements spécifiques mais qui ne generalisent pas.

Le défi, c'est que les environnements GUI ne offrent pas le contrôle programmable que les simulateurs robotiques fournissent. Tu ne peux pas facilement ajuster les paramètres visuels d'une application desktop ni modifier la façon dont un site web s'affiche.

Une approche prometteuse passe par les archives MHTML — des instantanés complets de pages web rendues qui peuvent être manipulées au niveau structurel. En faisant varier systématiquement des éléments comme les niveaux de zoom, lesschémas de couleurs et les configurations de layout, les chercheurs peuvent créer des ensembles de données d'évaluation qui testent réellement la robustesse.

Pourquoi c'est important pour tes déploiements

Pour les développeurs qui construisent des automatisations alimentées par l'IA, cette recherche met en lumière un écart critique dans notre façon de penser l'évaluation des modèles. Les benchmarks nous donnent confiance dans la performance maximale. Ce dont on a vraiment besoin, c'est de confiance dans les courbes de dégradation — avec quelle grâce la performance decline-t-elle à mesure que les conditions s'éloignent de la distribution d'entraînement ?

Quand tu déploies un agent IA qui contrôle une interface, tu ne déploies pas dans un laboratoire contrôlé. Tu déploies dans un monde chaotique et variable où les utilisateurs ont des navigateurs différents, des paramètres différents, des façons différentes de décrire ce qu'ils veulent.

Les modèles qui gagneront en production ne sont pas nécessairement ceux avec les scores de benchmark les plus élevés. Ce sont ceux qui maintiennent la performance à travers la plus large gamme de conditions réelles.

La voie à suivre

C'est encore de la recherche à un stade précoce, mais les implications sont significatives. Les frameworks d'évaluation doivent intégrer les principes de domain randomization. Les pipelines d'entraînement devraient exposer les modèles à des variations contrôlées pendant le développement. Et les stratégies de déploiement doivent tenir compte de l'écart entre performance sur benchmark et robustesse en conditions réelles.

L'écart démo-production n'est pas une limitation des modèles actuels — c'est un artefact de mesure. On mesurait la mauvaise chose. La domain randomization offre un chemin vers une évaluation qui prédit réellement le comportement en production.

En attendant, caveat emptor quand ces chiffres de benchmark tombent.