Iluzia Benchmark-urilor

Gândește-te la scenariul ăsta: Agentul tău AI navighează printr-o interfață web fără probleme în demo-uri. Apasă butoanele corecte, completează formulare, termină sarcinile cu precizie supradimensională. Apoi un utilizator setează zoom-ul browserului la 110% și brusc modelul dă click pe elementele greșite — sau mai rău, pur și simplu renunță.

Nu e un caz izolat ipotetic. E o problemă sistemică ascunsă în plină vedere.

Ce măsoară de fapt benchmark-urile?

Modelele care scoring 90%+ pe benchmark-uri standard măsoară de fapt un singur lucru: performanța maximă în condiții curate, controlate. Sunt evaluate pe screenshot-uri fixe cu instrucțiuni fixe — exact scenariul pentru care au fost antrenate.

Dar producția nu funcționează așa. Site-urile își schimbă temele. Utilizatorii folosesc zoom diferit. Modul dark răstoarnă relațiile dintre culori. Utilizatorii descriu același buton în zeci de moduri diferite.

Modelul care face 90% pe un benchmark ar putea face 40% în clipa în care orice variabilă se schimbă.

Lecția din Robotică

Aici lucrurile devin interesante. Comunitatea de robotică a întâmpinat o problemă similară acum câțiva ani. Antrenarea roboților în simulare funcționa perfect — până când întâlneau lumea reală, unde umbrele cad diferit, suprafețele au texturi neașteptate, iar iluminarea se schimbă pe parcursul zilei.

Soluția lor a fost domain randomization. În loc să antreneze pe un singur mediu simulat, roboții au fost expuși la mii de variații: texturi randomizate, unghiuri de lumină, culori de obiecte, poziții de cameră. Scopul era forțarea policy-ului să învețe caracteristici care chiar contează — relații structurale, proprietăți funcționale — în loc să memoreze scurtături de suprafață.

Principiul e elegant: dacă ai văzut în antrenament o ceașcă roșie, una albastră și una transparentă, ai mai multe șanse să recunoști o ceașcă necunoscută în wild decât cineva care a văzut doar o singură ceașcă specifică.

Aplicarea la Modelele GUI

Paralela cu agenții GUI e izbitoare. Modelele actuale ground-ui elementele bazându-se pe primitive vizuale — formă, poziție, culoare — în loc de semantica funcțională. Un dreptunghi alb aproape de partea de sus a ecranului e clasificat ca „câmp de text" indiferent dacă e o bară de căutare, o bară de formule sau un câmp URL. Modelul a învățat corelații care funcționează în medii specifice dar nu se generalizează.

Provocarea e că mediile GUI nu oferă controlul programatic pe care îl au simulatoarele de robotică. Nu poți ajusta ușor parametrii vizuali ai unei aplicații desktop sau felul în care se randează un site.

O abordare promițătoare implică lucrul cu arhive MHTML — snapshot-uri complete ale paginilor web randerate care pot fi manipulate la nivel structural. Variind sistematic elemente precum zoom, scheme de culori și configurații de layout, cercetătorii pot crea dataset-uri de evaluare care chiar testează robustețea.

De Ce Contează pentru Deploy-urile Tale

Pentru dezvoltatorii care construiesc automatizare AI, această cercetare evidențiază un gap critic în felul în care gândim evaluarea modelelor. Benchmark-urile ne dau încredere în performanța maximă. Ceea ce avem cu adevărat nevoie e încredere în curbe de degradare — cât de graceful scade performanța pe măsură ce condițiile variază față de distribuția de antrenament?

Când deploy-i un agent AI care controlează GUI, nu deploy-i într-un laborator controlat. Deploy-i într-o lume haotică, variabilă, unde utilizatorii au browsere diferite, setări diferite, moduri diferite de a descrie ce vor.

Modelele care vor câștiga în producție nu sunt neapărat cele cu cele mai mari scoruri pe benchmark. Sunt cele care mențin performanța pe cea mai largă gamă de condiții reale.

Drumul Înainte

E încă cercetare early-stage, dar implicațiile sunt semnificative. Framework-urile de evaluare trebuie să incorporeze principii de domain randomization. Pipeline-urile de antrenament ar trebui să expună modelele la variații controlate în timpul dezvoltării. Și strategiile de deployment ar trebui să țină cont de gap-ul dintre performanța pe benchmark și robustețea din lumea reală.

Gap-ul demo-producție nu e o limitare a modelelor curente — e un artifact de măsurare. Măsuram lucrul greșit. Domain randomization oferă o cale către evaluare care chiar prezice comportamentul în producție.

Până atunci, caveat emptor când apar acele numere de benchmark.