Den obekväma sanningen om AI och bioterrorism: Varför vi måste prata om vibe-kodade domedagsscenario

Låt oss vara ärliga en stund. Teknikbranschen älskar en bra abstraktion. Vi kan spendera år med att debattera om AI kommer att uppnå medvetande, om stora språkmodeller ”verkligen” förstår saker, eller om AGI kommer att uppstå 2027 eller 2035. Det är fascinerande filosofiska frågor. De är också, när man tänker efter, ett bekvämt sätt att undvika att prata om de konkreta, kortsiktiga risker som redan håller på att materialiseras.

Här är ett scenario som håller mig vaken på nätterna: En måttligt intelligent person utan specialiserad biologikunskap använder en jailbreakad AI-modell för att designa och syntetisera patogener. De släpper dessa patogener på en offentlig plats. Inom några månader börjar civilisationen som vi känner den kollapsa.

Låter det långsökt för dig? Det bör det inte göra. Och det är just det som gör det skrämmande.

Åtkomstproblemet är redan här

Vi gillar att tro att farlig biologi kräver dyra laboratorier, specialiserad kunskap och år av utbildning. Men den barriären eroderar snabbare än de flesta inser. Bänksyntetisatorer för DNA finns. Online-biolaboratorier syntetiserar genetiskt material för alla med ett kreditkort. Kunskapen om hur patogener fungerar finns fritt tillgänglig i akademisk litteratur som har funnits i decennier.

Lägg nu till AI i ekvationen. Inte ens banbrytande AI – bara modeller som finns idag. En tillräckligt motiverad individ med goda promptfärdigheter kan använda dessa verktyg för att:

• Designa nya viruskonstrukt med förstärkt överförbarhet
• Identifiera sårbarheter i biologiska försvarssystem
• Modellera proteinstrukturer för riktade terapier – eller riktade vapen
• Kringgå etiska skyddsnät som ansvarsfulla utvecklare har byggt in

Klyftan mellan ”kunskap existerar” och ”kunskap är handlingsbar” minskar snabbt. Och AI är bron.

Den alignmentsklyfta ingen pratar om

Här är vad som frustrerar mig med de flesta diskussioner om AI-säkerhet: de fokuserar på abstrakta alignmentsproblem medan de ignorerar den praktiska verkligheten att alignment och säkerhet är olika saker. En modell kan vara perfekt alignad för att ”göra vad användarna vill” och ändå möjliggöra katastrofalt missbruk. Det är inte en bugg – det är en egenskap hos hur dessa system är designade.

Jailbreakade modeller har inga säkerhetsskyddsnät. Men de har fortfarande kapacitet. Och här är den obekväma sanningen: den kapaciteten ökar snabbare än vår förmåga att implementera meningsfulla skyddsåtgärder. Vi bygger allt kraftfullare verktyg och hoppas att det ska räcka att hålla dem ”i fängelse”.

Det kommer inte att räcka. Inte för alltid. Inte mot någon som är tillräckligt motiverad.

Vad som verkligen håller mig vaken på nätterna

Jag är inte en doomer av naturen. Jag har byggt mjukvara i två decennier och jag har sett teknik lösa betydligt fler problem än den skapar. Men jag har också sett hur snabbt saker kan spåra ur när incitamenten inte stämmer överens med säkerheten.

Scenariot jag beskriver är inte science fiction. Det är en trolig tidslinje av händelser, givet nuvarande trender. Och det värsta? Det finns ingen uppenbar teknologisk lösning. Vi kan inte ”avuppfinna” AI. Vi kan inte lära oss bort biologin. Kunskapen finns, och den kommer att bli alltmer handlingsbar.

Detta betyder inte att vi ska panikslå. Det betyder att vi behöver ha obekväma samtal om:

• Hur vi reglerar DNA-syntes och tillgång till biolaboratorier
• Vilket ansvar AI-utvecklare har för missbruk
• Hur vi bygger meningsfulla skyddsåtgärder utan att kväva gynnande forskning
• Om det nuvarande tillväg