A verdade incômoda sobre a IA e o bioterrorismo: por que precisamos discutir cenários apocalípticos programados por intuição

Vamos ser honestos por um momento. A indústria de tecnologia adora uma boa abstração. Podemos passar anos debatendo se a IA alcançará a consciência, se os grandes modelos de linguagem "realmente" compreendem as coisas ou se a AGI surgirá até 2027 ou 2035. Essas são questões filosóficas fascinantes. Elas também são, quando pensamos bem, uma maneira conveniente de evitar falar sobre os riscos concretos e de curto prazo que já estão se materializando.

Aqui está um cenário que me tira o sono: uma pessoa de inteligência mediana, sem conhecimento especializado em biologia, usa um modelo de IA com as restrições de segurança removidas para projetar e sintetizar patógenos. Ela libera esses patógenos em um espaço público. Em poucos meses, a civilização como a conhecemos começa a entrar em colapso.

Isso parece absurdo para você? Não deveria. E é exatamente isso que o torna aterrorizante.

O Problema do Acesso Já Está Aqui

Gostamos de pensar que a biologia perigosa requer laboratórios caros, conhecimento especializado e anos de treinamento. Mas essa barreira está se erodindo mais rápido do que a maioria das pessoas percebe. Sintetizadores de DNA de bancada existem. Biolaboratórios online sintetizam material genético para qualquer pessoa com um cartão de crédito. O conhecimento sobre como os patógenos funcionam está livremente disponível em literatura acadêmica que existe há décadas.

Agora, adicione a IA a essa equação. Nem mesmo a IA de fronteira—apenas modelos que existem hoje. Um indivíduo suficientemente motivado, com boas habilidades de engenharia de prompts, pode usar essas ferramentas para:

• Projetar construtos virais inéditos com transmissibilidade aprimorada
• Identificar vulnerabilidades nos sistemas de defesa biológica
• Modelar estruturas de proteínas para terapêuticas direcionadas—ou armas direcionadas
• Burlar as barreiras éticas que os desenvolvedores responsáveis implementaram

A lacuna entre "o conhecimento existe" e "o conhecimento é acionável" está se fechando rapidamente. E a IA é a ponte.

A Lacuna de Alinhamento da Qual Ninguém Fala

O que me frustra na maioria das discussões sobre segurança da IA é que elas se concentram em problemas abstratos de alinhamento, ignorando a realidade prática de que alinhamento e segurança são coisas diferentes. Um modelo pode estar perfeitamente alinhado para "fazer o que os usuários querem" e, ainda assim, permitir o uso indevido catastrófico. Isso não é um bug—é uma característica de como esses sistemas são projetados.

Modelos com as restrições de segurança removidas não possuem barreiras de segurança. Mas ainda possuem capacidades. E aqui está a verdade desconfortável: essas capacidades estão aumentando mais rápido do que nossa capacidade de implementar salvaguardas significativas. Estamos construindo ferramentas cada vez mais poderosas e esperando que mantê-las "na prisão" seja suficiente.

Não será. Não para sempre. Não contra alguém suficientemente motivado.

O Que Realmente Me Tira o Sono

Não sou um pessimista por natureza. Desenvolvo software há duas décadas e vi a tecnologia resolver muito mais problemas do que criar. Mas também vi como as coisas podem sair do controle rapidamente quando os incentivos não estão alinhados com a segurança.

O cenário que descrevo não é ficção científica. É uma linha do tempo plausível de eventos, dadas as trajetórias atuais. E a pior parte? Não há uma solução tecnológica óbvia. Não podemos "desinventar" a IA. Não podemos "desaprender" a biologia. O conhecimento existe e se tornará cada vez mais acionável.

Isso não significa que devemos entrar em pânico. Significa que precisamos ter conversas desconfortáveis sobre:

• Como regular a síntese de DNA e o acesso a biolaboratórios
• Quais responsabilidades os desenvolvedores de IA têm pelo uso indevido
• Como construir salvaguardas significativas sem sufocar a pesquisa benéfica
• Se a abordagem atual para o desenvolvimento de IA leva em conta adequadamente os riscos de uso dual

A comunidade de desenvolvedores—pessoas que constroem esses sistemas, os implantam e criam a infraestrutura na qual eles rodam—precisa fazer parte dessa conversa. Não estamos mais apenas construindo software. Estamos construindo capacidades com implicações civilizatórias.

Isso vale a pena ser pensado, mesmo que seja desconfortável.

O Caminho a Seguir

Não estou sugerindo que paremos o desenvolvimento da IA. Os benefícios são significativos demais, e as dinâmicas competitivas