Kamufláž, která obchází ochranu LLM: Proč běžné detektory nestačí

Máte API pod zámkem, ochranu LLM v provozu a detektory injekcí běžící s přesností 93 %. Přesto tu zůstává otázka – je to opravdu dost?

Výzkumy, které se objevují teď, ukazují, že většina obrany míří na zřejmé útoky. Ti, kteří se snaží proniknout, používají jinou taktiku.

Kde detektory selhávají

Většina ochran hledá jasné příznaky – přímé příkazy, pokusy o přepsání systému nebo klíčová slova spojená s jailbreaky. Jenže jakmile útočník použije jazyk, který systém zná z běžného provozu, detekce selhává.

Podle studií klesá účinnost detektorů z 93,8 % na pouhých 9,7 % na menších modelech, kdyť přichází „doménově přirozený“ payload. Tento rozdíl se už označuje jako Camouflage Detection Gap (CDG).

Jak vypadá takový skrytý útok

Obyčejný injekční pokus je snadný: přímý text bez gramatiky, velká písmena, zřejmý pokus o přepis. Detektor ho obvykle zachytí.

Ale co když útok přijde ve formě interního reportu nebo finančního doporučení? Payload pak používá obvyklé termíny, odkazuje na reálné procesy a vypadá jako součást běžného toku. Detetor ho propustí – a útočník se dostane k výstupu.

Multi-agent systémy: ochrana, která můstek přesně takové angličtině

Týmy často volí více agentů, která diskutují a ověřují rozhodnutí. Provedený research však ukazuje, že menší modely mohou takové útoky v debatové architektuře násobit až 9,9krát. Konsensus se tak stává nástrojem pro propagaci jediného kompromitovaného vstupu.

Larger models show more resistance, but that is nicht mehr für die meisten Anwendungsfälle, wo cost and latency die Wahl beeinflussen.

Proč specializované klasifikátory selhávají

Llama Guard 3 a podobné safety classifiers detekují camouflierten payload zero times. Targeted augmentation nutzt nur 10–78 % Verbesserung.

Proč se to týká hostingu a domén

Pokud používst AI v produkci, bezpečnostní pos