Fra LeetCode til ekte AI: Slike FrontierSmith trener smartere kodeagenter
AI-kodingens skjulte svakhet
AI-verktøy knuser LeetCode-oppgaver. De fikser grafer, dynamisk programmering og intervju-spørsmål uten problemer. Men be dem optimalisere database-forespørsler med stramme ressurser, justere kernel-innstillinger eller løse ruteproblemer med motstridende mål – da svikter de.
Grunnen? Mangel på treningsdata.
Forskere hos Frontier Labs oppdaget det: Nettsiden florerer av lukkede kodingoppgaver – over 100 000 i konkurranseprogrammering alene. Ekte åpne optimaliseringsproblemer? Bare noen hundre. Derfor krangler toppmodeller på virkelighetens utfordringer uten én "riktig" løsning.
FrontierSmith endrer dette.
Smarthacket: Forandre, ikke finn på
I stedet for å la språkmodeller dikte nye oppgaver – dyrt og upålitelig – tar FrontierSmith en smart vei: Ta lukkede oppgaver og muter dem systematisk.
Et eksempel: Minimum spanning tree har én løsning. Legg til begrensning på koblinger per node, og det blir skikkelig krevende. Plutselig handler det om bedre eller dårligere valg. Optimaliseringen våkner til live.
Systemet bruker tre mutasjons-typer:
1. Endre målet
Bytt "finn perfekt løsning" med "finn best mulig innen tidsgrense". Enkel oppgave blir kontinuerlig optimalisering.
2. Stram inn outputen
Legg til realistiske begrensninger som blokkerer perfeksjon. Småskala blir produksjonsstørrelse. Approksimasjon teller.
3. Løsne inputen
Fjern forutsetninger. Gjør parametrene generelle. Toy-data fungerer ikke lenger på ekte data.
Resultatet? Tusenvis av ekte treningsoppgaver som lærer AI å veie alternativer, iterere og forbedre seg – akkurat som i virkelig engineering.
Filtreringen: Kun de spennende overlever
Ikke alle mutasjoner blir bra. Noen er overfladiske. Andre høres åpne ut, men er bare "bruk triks X med nye tall".
FrontierSmiths triks er idea divergence – måler om løsere tenker ulikt.
Lukkede oppgaver har én dominerende strategi. Alle koder samme algoritme. Åpne oppgaver viser mangfold: Én bruker branch-and-bound, en annen genetiske algoritmer, en tredje greedy med lokal søk. Forskjellige score på testene.
Filtreringen går i to steg:
- Semantisk sjekk: LLM-dømmer sammenligner strategiene
- Atferdssjekk: Sammenlign score-vektorer på tester – identiske rangeringer tyder på samme kjerneide
Svake mutasjoner kasseres. De gode er ekte optimaliseringsutfordringer.
Fra idé til treningsmaskin
Etter filtrering lager FrontierSmith kjørbare miljøer:
- Dynamiske testgeneratorer for endeløse varianter
- Verifikatorer som scorer kontinuerlig, ikke pass/fail
- Sikre sandboxes klare for produksjon
Dermed: Skalerbar pipeline. Fra hundrevis til tusenvis – eller titusenvis – av nyttige scenarioer.
Hvorfor det teller for deg som utvikler
Hvis du lager AI-verktøy, er dette gull.
Nåværende agenter fikser definerte oppgaver med klare mål. De henger med på rotete, iterativ jobb: Tune konfig, optimaliser ressurser, balanser krav, finn "god nok" under press.
FrontierSmith-trente modeller endrer tankemønster. De utforsker trade-offs, resonnerer om approksimasjoner og itererer smart – ferdigheter du trenger i prod-debugging eller infra-design.
For plattformer med AI-dev-tools: Generer data i masse. For startups på AI-agenter: Håndter tøffere, realistiske problemer.
Det store bildet
Dette er del av en trend i AI-trening. Vi dropper tanken om at alt må kurateres av mennesker. I stedet: Programmerbar data-generering. Forvandle rikelig (lukket kode) til sjeldenhet (åpen optimalisering).
Som syntetisk data og curriculum learning. Plattformer som NameOcean satser på AI-assisterte dev-tools av samme grunn. Flaskehalsen er ikke lenger intelligens – det er nyttig treningsdata.
FrontierSmith fikser ikke alt, men tetter et hull. I AI-feltets tempo lønner det seg å tette flaskehalser raskt. Slik kommer neste generasjon.