Sådan bygger du tillid til lokale AI-agenter: OATs-arkitekturen

Vi står midt i et skift, hvor lokale AI-modeller som FunctionGemma og Qwen er blevet stærke nok til at køre selvstændige udviklingsopgaver. Men når en agent kan kalde værktøjer og ændre kode uden opsyn, opstår et vigtigt spørgsmål: hvordan holder du styr på, hvad den egentlig foretager sig?

Udfordringen ved fuldautomatiske agenter

Tænk på scenariet: Du beder din lokale AI om at refaktorisere en applikation og går i seng. Næste morgen har den kørt hundredevis af tool calls – ændret databaser, omstruktureret API’er og ændret frontend. Problemet? Du har ingen oversigt over, hvorfor ændringerne blev foretaget eller om de var sikre.

Flere udviklere har oplevet mystiske ændringer i deres miljøer efter en nat med agenten. Tabeller i testdatabaser blev slettet uden nogen klar forklaring. Det er præcis den type uforudsigelighed, der gør mange teams tilbageholdende med at lade AI-agenter arbejde selvstændigt.

OATs: En standardiseret og kontrolleret tilgang

Open Agent Tools (OATs) er et forsøg på at løse netop disse problemer. I stedet for at hver virksomhed bygger sit eget setup til agent-til-værktøj-kommunikation, giver OATs en samlet arkitektur, der både muliggør automation og sikrer accountability.

Kernerne i OATs er enkel: ved at samle alle tilladte tools i en central JSON-fil har du fuld kontrol over, hvad din agent må gøre.

Smart delegation af opgaver

OATs-arkitekturen er designet således, at store modeller ikke bruges til alt. En stor model som Qwen 35B analyserer din prompt og beslutter hvilke tools der bruges. Derefter delegates selve udførelsen til en mindre model, som kører på din hardware – endnu på en almindelig NVIDIA 3060 kort.

Det holder både ressourcerne low og sikkerheden high. En model, der kun får database-tools, får kun adgang til database-funktioner. Det er en praktisk form for least privilege.

En stor samling af tools – men kun dem, du tillader

OATs vedligeholder en offentlig liste med over 141.000 dokumenterede tools. Det er enormt, but you don't have to use them all. Du kan simpelthent tilføje de tools, du vil tillade, i din lokale JSON-fil:

{
  "superhappy": {
    "description": "Read from Open WebUI knowledge collection",
    "implementation": "/local/path/to/read_knowledge.py",
    "permissions": ["read_only"],
    "approved_by": "security_team"
  }
}

Save the file, and your agent has access to only the tools you've approved.

De tre grundpilarer i OATs

Observability gennem audit logs

Hver tool call bliver logget i realtid. Med integrationer til Mattermost kan agenten rapporterer alle opkald og ændringer i kanaler, du kan monitorere. Om det sker ved 2 om natten, du kan straks se hvad der sker.

Human-in-the-loop curation

OATs’ 141K index på HuggingFace er blot en baseline. Du og din team bestimmung, hvilke tools skal freigaben sein. You can revoke or add tools without changing code.

Distributed execution

Små modeller kører på forskellige devices. API-modellen på én GPU, database-modellen på en anden. Distributed execution giver naturlige grænser og er en praktisk implementering af least privilege.

Hvad betyder det praktisk?

Teams, der har indført OATs, har fået mulighed for at:

• Tracke alle 200+ tool calls pr. session
• Reviewe ikke bare kode, but also the reasoning behind tool selection
• Revoke access instantly without waiting for recompilation
• Archive logs as Parquet files for later analysis

Konklusion

OATs viser, at lokale AI-agenter gennem standardisering og explicit permissions kan blive en del af den normale dev stack.