Защо 90% точност на бенчмарковете не означава това, което си мислиш

Ето един експеримент, който всеки може да направи. Избери си един от най-модерните GUI агенти, насочи го към някой сайт, който познаваш добре, и свали zoom-а на браузъра до 70%. Визуално всичко е наред — същата оформление, същите бутони на същите места, просто по- малко.

Моделът най-вероятно ще се провали.

Това не е рядък случай. Това е директен поглед към фундаменталната разлика между онова, което AI бенчмарковете измерват, и онова, от което производственият AI реално се нуждае. Разбирането на тази разлика е критично — независимо дали разработваш AI асистент за браузване, автономен уеб скрейпър или следващо поколение агенти за използване на компютри.

Митът с бенчмарковете

Нека изясним какво всъщност означават числата. Модерните GUI модели вече постигат над 90% точност върху бенчмаркове като ScreenSpot-v2. За developer-а, който оценява опции, това е лесно число — "проблемът е решен, възприятието вече не е бариера."

Проблемът е какво тези числа не показват.

ScreenSpot-v2, както повечето GUI бенчмаркове, тества модели върху статични скрийншотове. Една и съща страница, рендерирана по един и същи начин, всеки път. Реалните уебсайтове не работят така. Потребителите увеличават и намаляват. Екипите пускат редизайни. Dark mode променя цветовите взаимоотношения. Различните браузъри рендерират един и същ CSS леко различно.

Моделът не се е научил да се справя с вариации — той се е научил да разпознава конкретни скрийншотове. Онези високи бенчмарк резултати измерват капацитет за запаметяване, а не истинско визуално разбиране.

Изследователите зад GUI-Perturbed (от Fig, Inc.) си поставиха за цел да量化рат точно колко от тази бенчмарк производителност оцелява при контакт с обикновени вариации. Тяхният подход: систематично да смущават визуални сцени по контролирани оси и да измерват спада в точността. Това, което откриха, би накарало всеки, който разработва production системи за използване на компютри, да се почувства неловко.

Проблемът с тройното подравняване

Преди да се потопим в резултатите, нека обясним какво точно изисква GUI grounding. Когато модел види скрийншот и команда като "кликни бутона за изпращане", три различни типа подравняване трябва да се случат едновременно:

Визуалното подравняване е точно това, което звучи — съпоставяне на пикселни модели с елементи от интерфейса. Бутонът има конкретна форма, цвят и размер, който моделът трябва да разпознае.

Функционалното подравняване означава разбиране какво точно прави елементът. Едно поле за въвеждане изглежда различно от етикета за показване, а кливаем бутон се различава от статична икона, дори ако споделят визуални характеристики.

Геометричното подравняване решава пространствени взаимоотношения. "Бутонът над лентата за търсене" или "полето за формуляр вдясно от етикета" изисква разбиране на това къде са нещата едно спрямо друго, а не само как изглеждат.

Ето неудобната част: повечето бенчмаркове смесват и трите заедно. Когато модел получи 85%, няма начин да разбереш дали е вкарал и трите или се е справил перфектно с визуалното, докато геометрията е налучквал. Това има значение, защото режимите на провал са различни, а съответно и решенията са различни.

Къде моделите наистина се чупят

Методологията GUI-Perturbed тества всяка ос на подравняване независимо. Резултатите разкриват йерархия на крехкостта:

1. Пространствените инструкции са катастрофално слаби

Това е голямата изненада. Когато инструкциите се променят от "кликни бутона за изпращане" към "кликни бутона над формуляра за контакт", точността пада между 27 и 56 точки в зависимост от модела. Спад от 27 точки е притеснителен. Спад от 56 точки е дисквалифициращ за всякаква production употреба.

Моделът може да идентифицира конкретен бутон, когато е наименован директно. Помолиш ли го да разсъждава къде е този бутон в пространството — и представянето му се срива.

Това е особено проблематично, защото естественият език често включва пространствени препратки. "Скролни надолу и кликни формуляра" или "избери опцията под заглавието" са интуитивни начини хората да описват задачи. Те чупят съвременните модели почти веднага.

2. Визуалните смущения удрят силно

Експериментът с zoom-а не е изключение. Промяната на browser zoom до 70% сваля точността с 2 до 6 точки при всичките три тествани модела. Не е катастрофално, но помисли какво имплицира: моделът се е научил да разпознава елементи в един конкретен мащаб, и промяната в мащаба чупи тази калибрация.

Реалните потребители увеличават. Различните монитори имат различни DPI настройки по подразбиране. Уеб приложенията се рендерират на различни физически размери в зависимост от устройството. Това са ежедневни ситуации, не adversarial условия.

По-тревожната импликация е какво това ни казва за начина, по който моделите учат. Те не изграждат мащабно-инвариантни представи по начина, по който хората го правят — те запаметяват външния вид при резолюциите от времето на трениране.

3. Chain-of-thought разсъжденията имат компромиси

Добавянето на стъпка за разсъждение преди действие помага при трудни релационни задачи, но всъщност влошава представянето при лесни директни такива. Моделът трябва да знае кога да мисли и кога просто да действа.

Това създава практически проблем при deploy-ване. Не можеш просто да включиш chain-of-thought навсякъде; трябва ти или рутер, който решава кога да мисли, или модел, който е наистина добър и в двата режима. Съвременните модели сякаш прекалено много мислят върху прости задачи.

Какво точно ти дава post-training-ът

Ето най-обезпокоителната находка: повече GUI-специализиран post-training не решава нито един от тези проблеми.

Трите тествани модела споделят една и съща базова checkpoint, но са преминали през различни количества GUI-специфично fine-tuning. Допълнителното обучение повиши бенчмарк резултатите при фиксирани сцени. Не подобри устойчивостта към визуални смущения, пространствено разсъждение или чувствителност към zoom.

Това означава, че бенчмарк печалбите от post-training може частично да са илюзорни — моделите стават по-добри в тестовото разпределение, а не в основната задача. Те fit-ват бенчмарка по-точно, без да изграждат генерализируеми способности.

За екипите, оценяващи модели или надграждащи върху тях, това е критична разлика. "Постига 92% на ScreenSpot-v2" ти казва, че моделът може да разпознава GUI елементи в скрийншотове. Не ти казва нищо за това дали може да се справи с вариативността на реалното уеб браузване.

Какво следва за тези, които строят

Ако разработваш приложения върху агенти за използване на компютри, няколко неща следват от това изследване:

Твоята production среда ще бъде по-трудна от твоята evaluation среда. Ако тестваш върху фиксиран набор от страници, не измерваш как системата ще се представя в production. Помисли да включиш perturbation testing в твоя evaluation pipeline — опитай задачите си при различни нива на zoom, с CSS вариации, с редизайнени страници.

Обработката на пространствени инструкции се нуждае от специално внимание. Ако твоето приложение използва естествено-езикови инструкции, съдържащи пространствени референции, съвременните general-purpose модели ще се затруднят. Това може да означава ограничаване на инструкционните формати, добавяне на fallback пътища за експлицитно предвиждане на координати, или използване на специализирани модели за пространствени подзадачи.

Монитори за счупени редизайни. Когато target уебсайтовете променят оформленията си, точността на твоя агент може внезапно да падне — не защото моделът е станал по-лош, а защото е срещнал визуална конфигурация, която не е виждал преди. Помисли за кеширане на стратегии за местоположение на елементи и мониторинг за drift.

Пътят напред

Това изследване не означава, че агентите за използване на компютри са безполезни. Означава, че полето се нуждае от по-добри начини да измерва онова, което наистина има значение: устойчивост, а не бенчмарк представяне.

Добрата новина е, че проблемите вече са видими и измерими. Методологията GUI-Perturbed дава начин да тестваш моделите по конкретни оси. Ако строиш или купуваш тези системи, настоявай да видиш perturbation-resistant оценки, а не само статични бенчмарк резултати.

Проблемът с тройното подравняне — визуално, функционално и геометрично разбиране, работещи заедно — е реален. Той е tractable. И решаването му ще отключи следващото поколение надеждни AI агенти, които наистина работят в мръсния, вариращ свят, в който твоите потребители живеят.

Засега третирай тези 90%+ бенчмарк резултати като начална точка, не като финална линия. Потребителите ти ще са ти благодарни, когато техният AI асистент се справя перфектно с zoom-нат браузър.