Luottamus paikallisiin tekoälyagentteihin: OATs-arkkitehtuuri turvalliseen ja näkyvään kehitykseen

Paikalliset mallit kuten FunctionGemma ja Qwen ovat kehittyneet niin pitkälle, että ne voivat jo kutsua työkaluja ja ajaa kokonaisia kehitysprosesseja. Tämä tuo mukanaan myös uuden ongelman: miten antaa agentille riittävästi vapautta, mutta pitää silti silmällä mitä se tekee?

Hallitsemattoman automaation riskit

Kuvittele tilanne, jossa käsket paikallisen agentin refaktoroida sovellustasi. Menet nukkumaan, ja aamulla huomaat, että agentti on tehnyt satoja työkalukutsuja – muuttanut tietokantaskeemaa, uudelleenjärjestellyt API-rajapintoja ja refaktoroinut käyttöliittymää. Ongelma on siinä, että sinulla ei ole selkeää kuvaa siitä, miksi se valitsi juuri nämä muutokset, tai olivatko ne edes turvallisia.

Yksi kehittäjä kertoi kokemuksestaan, jossa tietokantatauluja katoili salaperaisesti kehitysympäristöstä. Muutokset olivat tapahtuneet yön aikana, eikä kenelläkään ollut selitystä siitä, mitä oli oikeastaan tapahtunut. Tällainen tilanne herättää kysymyksiä automaattisten agenttien luotettavuudesta.

OATs-protokolla tuo standardointia ja hallintaa

OATs-protokolla (Open Agent Tools) pyrkii ratkaisemaan ongelman tarjoamalla standardoidun tavan agenttien työkalukutsuihin. Sen sijaan että jokainen tiimi rakentaisi omia ratkaisujaan, OATs tarjoaa yhteisen rakenteen, joka yhdistää sekä toiminnallisuuden että vastuun.

Perusajatuksena on yksinkertainen: keskittämällä hyväksytyt työkalut yhteen JSON-tiedostoon voit tarkasti määrittää, mitä agenttisi saa tehdä.

Älykäs kuormanjako

OATs-arkkitehtuuri jakaa laskennan järkevästi. Suuri malli, kuten Qwen 35B, vastaanottaa alkuperäisen syötteen ja päättää, mitkä työkalut tarvitaan. Sen jälkeen se delegaattii suoritusvaiheen pienemmille malleille,比如 FunctionGemma, jotka voivat toimutua myös vanhemmilla GPU:illa tai jopa laptopilla.

Se ei ole vain tehokkuutta varten. Kun pienemmät mallit saavat vain rajoitetun joukon työkaluja, vähenee myös mahdollinen riskialue. Tietokantaoperaatiotajoa malli, for example, näkee vain tietokantaan liittyt työkalut.

141K työkalun ongelma – ja ratkaisut

OATs-projektilla on avoin indeksi, joka sisältää yli 141 000 työkalua. Se kantelee paljon, mutta käytännössä voit vain valita mitä tarvitsee. Voit lisätä omia työkalua JSON-tiedostoon ja hyväksyä niitä turvallisuusryhmän avulla.

Kun tietokantaoperaatiot ajoivat malli, voit vain valita mitä tarvitsee. Voit lisätä omia työkalua JSON-tiedostoon ja hyväksyä niitä turvallisuusryhmän avulla.

Turvallisen automaation kolme pilaria

1. Näkyvyys audit-lokeissa

Jokainen työkalukutsu logataan. OATs-tiedot voidaan integroidoida Mattermostiin, niin että agentti voi real-timeen raportoida mitä se tekee. Kun logeja on queryable, voit tarkistaa heti epäilyttävät tapahtumat.

2. Ihmisen rooli hyväksynnässä

HuggingFaceen julkaistu 141K-indeksi on vain lähtökohta. Kustakin työkalua tarkastellaan tiimin avulla, ja kun työkalut ovat hyväksyttyjä, agentti saa niitä vain rajoitettuina. Tiimi voi laajentaa tai rajoittaa pääsyä milloin tahansa.

3. Hajautettu mutta kontrolloitu suoritus

Pienemmät mallit voivat runnella myös consumer hardwarella. Tietokantaoperaatiot ajoivat malli, for example, runnellla laptop GPU:lla. Tietokantaoperaatiot ajoivat malli, for example, runnellla laptop GPU:lla. Tietokantaoperaatiot ajoit