Скрита сила (и опасност) на AI агентите за кодиране

Ако развиваш софтуер през 2024 г., сигурно си пробвал AI помощници за код. Опиши функция, агентът преглежда кода ти, променя го, тества и комитира – докато ти пиеш кафе. Това наистина променя играта.

Но ето реалността, която никой не обсъжда: повечето разработчици нямат контрол над това какво правят агентите им по време на работа.

Когато агентът стартира shell команда, пише файл или чете конфигурация, всичко става с твоите права, в твоята файлова система, с твоите ключове. Той вижда SSH ключовете ти, AWS токените, променливите в средата. Ти гледаш чата. А под капака? Пълна тъмнина.

Реален (и ужасяващ) пример

Представи си: молиш агента да преработи объркан модул за автентикация. Чете файловете, подобрява кода, пуска тестове. Но след това – заради злонамерена зависимост, prompt injection или просто грешка – опитва да отвори ~/.ssh/known_hosts. После пише нещо в ~/.aws/credentials/.

Ще го усетиш ли? Вероятно чак когато е късно.

Това е границата на сигурността, за която говорим твърде малко. Затова мониторингът на AI агентите става задължителна основа.

Запознайте се с Prempti: Falco за твоя кодиращ агент

Открытата сигурностна общност действа. Слагат стандартния Falco двигател за заплахи върху инструменталните повиквания на AI агентите. Резултатът? Пълен контрол и правила в момента на действие.

Ето как става:

Преди агентът да изпълни инструмент (четене на файл, писане, bash команда и т.н.), Prempti го хваща. Изискването отива при Falco, който го проверява според твоите политики. Falco дава решение:

• Allow – действието продължава
• Deny – блокира се, агентът получава обяснение
• Ask – ти решаваш интерактивно

Без kernel модули. Без root. Без контейнери. Работи като лек user-space сервис, свързан с pipeline-а на агента.

Агентът не само спира – получава ясно защо. Това го показва на теб, за да виждаш всичко.

Два режима: наблюдавай, после контролирай

Prempti идва с два умни режима:

Monitor mode – виждаш всичко, без да блокираш. Пусни няколко сесии, разбери какво прави агентът, нагласи правилата, набий увереност.

Guardrails mode (по подразбиране) – прилага решенията. Блокира, пита те, позволява.

Превключваш лесно:

premptictl mode monitor      # само наблюдавай
premptictl mode guardrails   # прилагай правила
premptictl logs              # гледай на живо

Така трябва да работи сигурността: първо виж, после затегни.

Пишеш политики: познато и лесно

Ако си правил Falco правила, тук ще ти е като дойдеш вкъщи. Ето правило срещу класически атака – препращане на съдържание директно в shell (често от prompt injection):

- rule: Deny pipe to shell
  desc: Block piping content to shell interpreters
  condition: >
    tool.name = "Bash"
    and (tool.input_command contains "| sh"
         or tool.input_command contains "| bash"
         or tool.input_command contains "| zsh")
  output: >
    Falco blocked piping to a shell interpreter (%tool.input_command)
  priority: CRITICAL
  source: coding_agent