Неудобная правда об ИИ и биотерроризме: почему нам нужно говорить о апокалиптических сценариях, сгенерированных с помощью «вайб-кодинга»

Будем честны хотя бы на минуту. Технологическая индустрия обожает абстракции. Мы можем годами спорить о том, обретет ли ИИ сознание, «действительно» ли большие языковые модели понимают смысл или появится ли общий искусственный интеллект (AGI) к 2027 или 2035 году. Это увлекательные философские вопросы. Но если задуматься, это также удобный способ избежать обсуждения конкретных, ближайших рисков, которые уже материализуются.

Вот сценарий, который не дает мне спать по ночам: человек со средним интеллектом, не имеющий специальных знаний в биологии, использует взломанную модель ИИ для проектирования и синтеза патогенов. Он выпускает эти патогены в общественном месте. В течение нескольких месяцев цивилизация в том виде, в каком мы ее знаем, начинает рушиться.

Звучит неправдоподобно? Не должно. И именно это делает ситуацию пугающей.

Проблема доступа уже здесь

Мы склонны думать, что опасная биология требует дорогих лабораторий, специализированных знаний и многолетней подготовки. Но этот барьер разрушается быстрее, чем большинство людей осознает. Настольные синтезаторы ДНК уже существуют. Онлайн-биологические лаборатории синтезируют генетический материал для любого, у кого есть кредитная карта. Знания о механизмах работы патогенов свободно доступны в академической литературе, существующей десятилетиями.

Теперь добавьте в это уравнение ИИ. Даже не передовой ИИ — просто модели, которые существуют сегодня. Достаточно мотивированный человек с хорошими навыками промптинга может использовать эти инструменты для:

• Проектирования новых вирусных конструкций с повышенной трансмиссивностью
• Выявления уязвимостей в системах биологической защиты
• Моделирования белковых структур для целевой терапии — или целевого оружия
• Обхода этических ограничений, заложенных ответственными разработчиками

Разрыв между «знание существует» и «знание применимо на практике» стремительно сокращается. И ИИ служит мостом.

Разрыв в выравнивании, о котором никто не говорит

Что меня раздражает в большинстве дискуссий о безопасности ИИ: они сосредоточены на абстрактных проблемах выравнивания (alignment), игнорируя практическую реальность, согласно которой выравнивание и безопасность — это разные вещи. Модель может быть идеально выровнена на «выполнение желаний пользователей», но при этом способствовать катастрофическому злоупотреблению. Это не ошибка — это особенность дизайна таких систем.

У взломанных моделей нет защитных механизмов безопасности. Но у них есть возможности. И вот неприятная правда: эти возможности растут быстрее, чем наша способность внедрять значимые меры предосторожности. Мы создаем все более мощные инструменты и надеемся, что удерживать их «в заключении» будет достаточно.

Это не так. Не навсегда. И не против достаточно мотивированного человека.

Что действительно не дает мне спать

Я не пессимист по натуре. Я разрабатываю программное обеспечение уже два десятилетия и видел, как технологии решают гораздо больше проблем, чем создают. Но я также видел, как быстро все может выйти из-под контроля, когда стимулы не совпадают с требованиями безопасности.

Описанный мной сценарий — не научная фантастика. Это правдоподобная хронология событий, учитывая текущие тенденции. И самое худшее? Очевидного технологического решения нет. Мы не можем «разизобрести» ИИ. Мы не можем разучить биологию. Знания существуют, и они будут становиться все более применимыми на практике.

Это не значит, что нужно паниковать. Это значит, что нам необходимо вести неудобные разговоры о:

• Регулировании синтеза ДНК и доступа к биологическим лабораториям
• Ответственности разработчиков ИИ за злоупотребления
• Создании значимых мер предосторожности без подавления полезного исследования
• Адекватности текущего подхода к разработке ИИ с учетом рисков двойного назначения

Сообщество разработчиков — люди, создающие эти системы, развертывающие их и формирующие инфраструктуру, на которой они работают, — должно быть частью этого диалога. Мы больше не просто создаем программное обеспечение. Мы создаем возможности, имеющие цивилизационные последствия.

Об этом стоит задуматься, даже если это неприятно.

Путь вперед

Я не предлагаю остановить разработку ИИ. Преимущества слишком значительны, а конкурентная динами