Тихата заплаха, скрита в документацията ви

Всеки говори за prompt injection, за отравяне на модели и за атаки срещу тренировъчните данни. Но има една заплаха, която рядко влиза в радара ни — деградацията на документацията като атакован вектор.

Неотдавна изследователски екип хвана нещо притеснително. Прегледаха llms.txt и llms-full.txt файлове — формати за машинно четима документация, създадени да помагат на AI системите да разбират уеб сайтове. Това, което откриха, направо тежи.

Върху хиляди домейни на отбранителни компании, Fortune 500 корпорации и технологични гиганти — 120 файла сочеха към пакети или домейни, които вече не съществуват.

Цялата работа е гениално проста. Атакуващият дори не се нуждае да хаква нещо. Трябва само да изчака.

Как точно работи атаката

Представи си следното: един разработчик използва AI coding agent, за да подкара нов проект. Агентът прочита llms.txt файла на компанията за инструкции за инсталация, намира референция към зависимост с име като cool-utils-lib и — понеже има права да изпълнява команди — я инсталира.

Проблемът? Такъв пакет никога не е бил регистриран. Докато атакуващият не го е регистрирал.

Изследователите направиха точно това в контролиран експеримент. Заявиха някои от тези изоставени имена, качиха безобидни пакети (само за да записват кога са достъпени) и зачакаха. Резултатите бяха красноречиви: по-малко от час след публикуването, една Fortune 500 компания вече беше инсталирала техен пакет. През следващите дни още "няколко дузини" организации се "обадиха".

Това не беше реална атака — пакетите бяха безвредни, нищо в production не пострада. Но reachability-ът беше доказан. Атаковната повърхност съществува.

Защо AI агентите влошават нещата

Това прави всичко особено опасно: традиционната сигурност разчита, че потребителите взимат решения. Ако дадеш на човек документ с лоши инструкции, може би ще ги последва. Но хората често хващат очевидните грешки, задават уточняващи въпроси, забелязват когато нещо не е наред.

AI агентите работят по друг начин. Те третират документацията като изпълнима истина. Ако llms.txt-ът ви казва "run npm install legacy-widget", агентът често просто го прави — без да се замисли дали пакетът все още съществува, кой го притежава, или дали изобщо е правилният.

Изследователите тестваха няколко агента — Claude, OpenAI Codex и Nous Research's Hermes — и всички последваха проблемните референции. Това не е дефект в конкретен доставчик. Това е системен проблем, породен от комбинацията между:

• Неподдържана документация, която остарява
• AI агенти с права за изпълнение, които вярват сляпо на документацията
• Възможността да се заявят изоставени имена на пакети в публични регистри

Какво можеш да направиш

Препоръките на изследователите са практични и приложими:

1. Одитирай своите llms.txt файлове редовно

Ако твоята организация публикува AI-четима документация, третирай референциите към пакети като кодови зависимости. Провери дали всеки споменат пакет, домейн или команда сочи към легитимен, актуален ресурс. Една проста грешка в документацията може да се превърне в заявима инфраструктура.

2. Въведи approval gates за действията на агентите

Не позволявай на AI агенти да изпълняват shell команди или да инсталират зависимости автоматично. Изисквай изрично одобрение. Документацията трябва да е референтен материал, не изпълним наръчник.

3. Мониторирай package registries за прилики

Помисли за алерти при имена на пакети, подобни на вътрешните ти зависимости. Ранното откриване ти дава прозорец да заявиш имената преди някой друг да го направи.

По-голямата картина

Това изследване показва нещо важно за прехода към AI-подпомогната разработка: моделът на доверие се промени, но практиките ни все още не са го настигнали.

Когато разработчиците работеха сами, документацията беше указание. Когато AI агентите работят заедно с разработчици, документацията става API. И като всяко API, тя се нуждае от валидация, версиониране и сигурностна проверка.

Добрата новина? Проблемът е решим. За разлика от много уязвимости, тук поправките са прости — документирай по-добре, вярвай по-малко, проверявай повече. Предизвикателството е да изградим навика да третираме AI-четимата документация със същата строгост, с която третираме production кода.

Докато AI coding агентите се вграждат по-дълбоко в процесите на разработка, очаквай още подобни изследвания. Атаките не идват директно за моделите ви или данните ви. Понякога те чакат търпеливо в документацията ви — търпеливи като една грешка в името.