Η Ψευδαίσθηση των Benchmarks

Φαντάσου το εξής σενάριο: Ο AI agent σου χειρίζεται μια ιστοσελίδα τέλεια στις επιδείξεις. Πατάει κουμπιά, συμπληρώνει φόρμες, ολοκληρώνει εργασίες με υπεράνθρωπη ακρίβεια. Μετά ένας χρήστης αλλάζει το zoom του browser σε 110%, και ξαφνικά το μοντέλο κάνει κλικ σε λάθος στοιχεία — ή χειρότερα, τα παρατάει.

Αυτό δεν είναι υποθετικό edge case. Είναι ένα συστημικό πρόβλημα που κρυβόταν σε plain sight.

Τα μοντέλα που πετυχαίνουν 90%+ στα standard benchmarks μετρούν κάτι πολύ συγκεκριμένο: κορυφαία απόδοση κάτω από curated, ελεγχόμενες συνθήκες. Αξιολογούνται σε fixed screenshots με fixed οδηγίες — ακριβώς το σενάριο για το οποίο εκπαιδύτηκαν. Αλλά τα production environments δεν λειτουργούν έτσι. Οι ιστοσελίδες αλλάζουν themes. Οι χρήστες έχουν διαφορετικά zoom levels. Το dark mode αναποδογυρίζει τις χρωματικές σχέσεις. Οι χρήστες περιγράφουν το ίδιο κουμπί με δεκάδες διαφορετικούς τρόπους.

Το μοντέλο που πετυχαίνει 90% σε benchmark μπορεί να πιάσει 40% τη στιγμή που οποιαδήποτε μεταβλητή αλλάξει.

Δανεικά από τη Ρομποτική

Εδώ γίνεται ενδιαφέρον. Η ρομποτική κοινότητα αντιμετώπισε ένα παρόμοιο πρόβλημα χρόνια πριν. Η εκπαίδευση ρομπότ σε simulation δούλευε ρολόι — μέχρι να συναντήσουν τον πραγματικό κόσμο, όπου οι σκιές έπεφταν διαφορετικά, οι επιφάνειες είχαν απρόοπτες υφές, και ο φωτισμός άλλαζε κατά τη διάρκεια της ημέρας.

Η λύση τους ήταν το domain randomization. Αντί να εκπαιδεύονται σε ένα μόνο simulated environment, τα ρομπότ εκτίθονταν σε χιλιάδες variations: randomized textures, γωνίες φωτισμού, χρώματα αντικειμένων, θέσεις κάμερας. Στόχος ήταν να αναγκαστεί η policy να μάθει features που πραγματικά έχουν σημασία — δομικές σχέσεις, λειτουργικές ιδιότητες — αντί να κάνει memorize surface-level shortcuts.

Η αρχή είναι κομψή: αν έχεις δει ένα κόκκινο ποτήρι, ένα μπλε ποτήρι και ένα διάφανο ποτήρι κατά την εκπαίδευση, είναι πιο πιθανό να αναγνωρίσεις ένα άγνωστο ποτήρι στην άγρια φύση από κάποιον που είδε μόνο ένα συγκεκριμένο ποτήρι.

Μετάφραση στα GUI Models

Η παραλληλία με τα GUI agents είναι εντυπωσιακή. Τα σύγχρονα μοντέλα κάνουν ground στοιχεία βασιζόμενα σε visual primitives — σχήμα, θέση, χρώμα — αντί για functional semantics. Ένα λευκό ορθογώνιο κοντά στο πάνω μέρος της οθόνης ταξινομείται ως "text input" ανεξάρτητα από το αν είναι search bar, formula bar ή URL field. Το μοντέλο έχει μάθει correlations που δουλεύουν σε συγκεκριμένα environments αλλά δεν generalize.

Η πρόκληση είναι ότι τα GUI environments δεν προσφέρουν το programmatic control που παρέχουν οι robotics simulators. Δεν μπορείς εύκολα να πειράξεις τις οπτικές παραμέτρους μιας desktop εφαρμογής ή να κάνεις tweak στο πώς renderάρει μια ιστοσελίδα.

Μια υποσχόμενη προσέγγιση αφορά τα MHTML archives — ολοκληρωμένα snapshots rendered ιστοσελίδων που μπορούν να χειριστούν σε structural επίπεδο. Κάνοντας vary στοιχεία όπως zoom levels, color schemes και layout configurations systematically, οι researchers μπορούν να δημιουργήσουν evaluation datasets που πραγματικά stress-test την robustness.

Γιατί Έχει Σημασία για τα Deployments σου

Για developers που χτίζουν AI-powered automation, αυτή η έρευνα φωτίζει ένα κρίσιμο κενό στο πώς σκεφτόμαστε την model evaluation. Τα benchmarks μας δίνουν confidence στην peak performance. Αυτό που πραγματικά χρειαζόμαστε είναι confidence στις degradation curves — πόσο gracefully πέφτει η απόδοση καθώς οι συνθήκες αποκλίνουν από το training distribution;

Όταν κάνεις deploy έναν GUI-controlling AI agent, δεν κάνεις deploy σε controlled lab environment. Κάνεις deploy σε έναν chaotic, variable κόσμο όπου οι χρήστες έχουν διαφορετικά browsers, διαφορετικές ρυθμίσεις, διαφορετικούς τρόπους να περιγράψουν αυτό που θέλουν.

Τα μοντέλα που θα κερδίσουν στην παραγωγή δεν είναι απαραίτητα αυτά με τα υψηλότερα benchmark scores. Είναι αυτά που διατηρούν απόδοση στο ευρύτερο δυνατό εύρος πραγματικών συνθηκών.

Η Οδός προς τα Εμπρός

Αυτή είναι ακόμα early-stage έρευνα, αλλά οι επιπτώσεις είναι σημαντικές. Τα evaluation frameworks χρειάζεται να ενσωματώσουν αρχές domain randomization. Τα training pipelines θα πρέπει να εκθέτουν τα μοντέλα σε controlled variations κατά την ανάπτυξη. Και οι deployment strategies θα πρέπει να λαμβάνουν υπόψη το χάσμα ανάμεσα στην benchmark performance και την real-world robustness.

Το demo-to-production gap δεν είναι limitation των σημερινών μοντέλων — είναι ένα measurement artifact. Μετρούσαμε το λάθος πράγμα. Το domain randomization προσφέρει έναν δρόμο προς evaluation που πραγματικά προβλέπει production behavior.

Μέχρι τότε, caveat emptor όταν βγαίνουν εκείνοι οι benchmark αριθμοί.