Nepříjemná pravda o umělé inteligenci a bioterorismu: Proč musíme mluvit o scénářích zkázy vytvořených „vibe codingem“

Buďme na chvíli upřímní. Technologický průmysl má rád dobré abstrakce. Můžeme roky debatovat o tom, zda AI dosáhne vědomí, zda velké jazykové modely „skutečně“ rozumí věcem, nebo zda se obecná umělá inteligence (AGI) objeví do roku 2027 či 2035. To jsou fascinující filozofické otázky. Když se nad tím ale zamyslíte, jsou také pohodlným způsobem, jak se vyhnout mluvení o konkrétních, krátkodobých rizicích, která se již materializují.

Zde je scénář, který mi nedá spát: Středně inteligentní člověk bez specializovaných znalostí biologie použije „jailbroken“ model AI k návrhu a syntéze patogenů. Tyto patogeny uvolní na veřejném prostranství. Během několika měsíců začne civilizace, jak ji známe, kolabovat.

Připadá vám to jako sci-fi? Nemělo by. A právě to z toho dělá děsivou skutečnost.

Problém s přístupem už je tady

Rádi si myslíme, že nebezpečná biologie vyžaduje drahé laboratoře, specializované znalosti a roky výcviku. Tato bariéra se ale rozpadá rychleji, než si většina lidí uvědomuje. Existují stolní syntetizátory DNA. Online biolaboratoře syntetizují genetický materiál pro kohokoli s kreditní kartou. Znalosti o fungování patogenů jsou volně dostupné v akademické literatuře, která existuje již desítky let.

Nyní do této rovnice přidejte AI. Ne dokonce špičkovou AI – stačí modely, které existují dnes. Dostatečně motivovaný jedinec s slušnými dovednostmi v promptování může tyto nástroje využít k:

• Návrhu nových virových konstrukcí se zvýšenou přenositelností
• Identifikaci zranitelností v systémech biologické obrany
• Modelování proteinových struktur pro cílené terapie – nebo cílené zbraně
• Obcházení etických zábran, které odpovědní vývojáři zabudovali

Mezera mezi „znalost existuje“ a „znalost je použitelná“ se rychle zmenšuje. A AI je tím mostem.

Mezera v zarovnání, o které nikdo nemluví

Co mě na většině diskusí o bezpečnosti AI frustruje, je jejich zaměření na abstraktní problémy zarovnání (alignment) při ignorování praktické reality, že zarovnání a bezpečnost jsou různé věci. Model může být dokonale zarovnán s tím, aby „dělal, co uživatelé chtějí“, a přitom stále umožňovat katastrofální zneužití. To není chyba – je to vlastnost toho, jak jsou tyto systémy navrženy.

„Jailbroken“ modely nemají bezpečnostní zábrany. Stále však mají své schopnosti. A zde je nepříjemná pravda: tyto schopnosti rostou rychleji než naše schopnost zavádět smysluplná ochranná opatření. Stavíme stále mocnější nástroje a doufáme, že jejich udržení „v žaláři“ bude stačit.

Nebude. Ne navždy. Ne proti někomu dostatečně motivovanému.

Co mi skutečně nedá spát

Nejsem ze své podstaty pesimista. Dvě dekády vyvíjím software a viděl jsem, jak technologie vyřešila mnohem více problémů, než vytvořila. Viděl jsem ale také, jak rychle se věci mohou vymknout kontrole, když se pobídky rozcházejí s bezpečností.

Scénář, který popisuji, není sci-fi. Je to pravděpodobný časový sled událostí vzhledem k současným trendům. A to nejhorší? Neexistuje žádné zjevné technologické řešení. Nemůžeme AI vynalézt zpět. Nemůžeme zapomenout biologii. Znalosti existují a budou se stávat stále více použitelnými.

To neznamená, že bychom měli panikařit. Znamená to, že potřebujeme vést nepříjemné rozhovory o:

• Jak