Nenápadné nebezpečí, které se skrývá v dokumentaci

Všichni už víme o prompt injection, poisonování modelů a útocích na tréninková data. Ale tady je jedna hrozba, které se zatím nevěnuje dostatečná pozornost: zastaralá dokumentace jako útočný vektor.

Výzkumný tým nedávno odhalil znepokojivou věc. Prozkoumali soubory llms.txt a llms-full.txt – strojově čitelné formáty dokumentace, které mají AI systémům pomáhat porozumět webovým stránkám. Co našli, bylo alarmující. Mezi tisíci doménami provozovanými obranářskými contractory, Fortune 500 společnostmi a technologickými giganty objevili 120 souborů odkazujících na balíčky nebo domény, které už neexistují.

Princip útoku je elegantní ve své jednoduchosti. Útočník nemusí nic hackovat. Stačí čekat.

Jak takový útok funguje v praxi

Představte si tento scénář: Vývojář používá AI agenta pro kódování, aby si pomohl s nastavením projektu. Agent přečte firemní llms.txt soubor s instrukcemi pro instalaci, najde odkaz na závislost jménem cool-utils-lib a – protože má povolení spouštět příkazy správce balíčků – ji nainstaluje.

Problém? Tento balíček nikdy nebyl registrován. Až do té doby, než ho útočník zaregistroval.

Ve svém kontrolovaném experimentu výzkumníci přesně tohle udělali. Zabrali některé z těchto opuštěných názvů, nahráli neškodné „phone home" balíčky (navržené pouze k zaznamenání, kdy jsou přístupné) a čekali. Výsledky byly překvapivé: méně než hodinu po publikaci už jedna Fortune 500 společnost nainstalovala jeden z jejich balíčků. V následujících dnech se ozvalo „několik desítek dalších" organizací.

Nebyl to skutečný útok – balíčky byly neškodné a žádné produkční systémy nebyly kompromitovány. Ale dosažitelnost byla prokázána. Útočná plocha je reálná.

Proč AI agenti situaci zhoršují

Tady je to, co dělá tuto hrozbu obzvláště nebezpečnou: tradiční bezpečnost počítá s tím, že rozhodnutí dělají lidé. Když někomu předáte dokument se špatnými instrukcemi, možná je následuje. Ale lidé často zachytí zjevné chyby, položí upřesňující otázky nebo si všimnou, když něco nesedí.

AI agenti fungují jinak. Dokumentaci berou jako proveditelnou pravdu. Když váš llms.txt říká „spusť npm install legacy-widget", agent to často prostě udělá – bez ptaní se, jestli ten balíček ještě existuje, kdo ho vlastní, nebo jestli je to ten správný.

Výzkumníci testovali více agentů – Claude, OpenAI Codex a Nous Research Hermes – a všichni následovali problematické reference. Toto není chyba konkrétního dodavatele. Je to systémový problém vytvořený kombinací:

• Neudržované dokumentace, která zastarává
• AI agentů nakonfigurovaných s oprávněními k provádění, kteří dokumentaci bezvýhradně důvěřují
• Možnosti zabrat opuštěné názvy balíčků ve veřejných registrech

Co s tím můžete dělat

Doporučení výzkumníků jsou praktická a přímo použitelná:

1. Pravidelně audituje své llms.txt soubory

Pokud vaše organizace publikuje AI-čitelnou dokumentaci, zacházejte s odkazy na balíčky stejně jako s kódovými závislostmi. Ověřte, že každý zmíněný balíček, doména nebo příkaz skutečně vede na legitimní, aktuální zdroj. Jednoduchý překlep v dokumentaci se může stát zabratelnou infrastrukturou.

2. Zaveďte schvalovací brány pro akce agentů

Nenechte AI agenty automaticky spouštět shell příkazy nebo instalovat závislosti. Vyžadujte explicitní schvalovací kroky. Dokumentace by měla být referenční materiál, ne návod k provedení.

3. Sledujte registry balíčků pro podobné názvy

Zvažte nastavení upozornění na názvy balíčků podobné vašim interním závislostem. Včasná detekce vám dává okno pro zabrání názvů dříve, než to udělá někdo jiný.

Větší obrázek

Tento výzkum poukazuje na něco důležitého ohledně posunu k vývoji asistovanému AI: model důvěry se změnil, ale naše postupy ho ještě nedohnaly.

Když vývojáři pracovali sami, dokumentace byla průvodcem. Když pracují AI agenti společně s vývojáři, dokumentace se stává API. A jako každé API vyžaduje validaci, verzování a bezpečnostní kontrolu.

Dobrá zpráva? Toto je řešitelný problém. Na rozdíl od mnoha bezpečnostních zranitelností jsou opravy přímočaré – lépe dokumentovat, méně důvěřovat, více ověřovat. Výzvou je vybudovat návyk zacházet s AI-čitelnou dokumentací se stejnou pečlivostí, jakou věnujeme produkčnímu kódu.

Jak se AI agenti pro kódování stále více integrují do vývojových workflow, očekávejte další podobný výzkum. Útoky nejdou přímo po vašich modelech nebo datech. Někdy trpělivě čekají ve vaší dokumentaci – trpělivě jako překlep.