Скрытая сила (и опасности) ИИ-агентов для кода

В 2024 году любой, кто пишет софт, уже пробовал ИИ-помощников. Опиши задачу — и агент сам разберётся: изучит репозиторий, отредактирует файлы, запустит тесты, закоммитит. Пока ты пьёшь кофе, всё готово. Это меняет правила игры.

Но есть подвох: разработчики почти не видят, что агенты творят на самом деле. Нет прозрачности в их действиях.

Агент запускает shell-команды, пишет файлы, читает конфиги — всё под твоими правами, в твоей файловой системе, с твоими ключами. Он видит SSH-ключи, AWS-токены, env-переменные. Ты общаешься в чате. А под капотом — тёмный лес.

Реальный (и жуткий) пример

Допустим, просишь агента починить модуль аутентификации. Он читает код, правит, тестирует. Но вдруг — из-за вредной зависимости, prompt injection или просто сбоя в логике — лезет в ~/.ssh/known_hosts. Потом пытается тронуть ~/.aws/credentials/.

Заметит кто? Скорее всего, когда уже поздно.

Об этом риске говорят мало. А runtime-мониторинг для ИИ-агентов вот-вот станет must-have.

Prempti: Falco для твоего кодера-ИИ

Открытые проекты не спят. Prempti берёт проверенный Falco — движок для детекции угроз — и цепляет его к вызовам инструментов агента. Получаем мощь: полный контроль и правила в реальном времени.

Схема простая:

Перед tool call (чтение файла, запись, bash и т.д.) Prempti перехватывает запрос. Falco проверяет по твоим политикам. Вердикт такой:

• Allow — зелёный свет, всё ок
• Deny — стоп, агент узнаёт причину
• Ask — спрашивает у тебя: да или нет?

Без kernel-модулей. Без root. Без контейнеров. Лёгкий сервис в user-space, встраивается в пайплайн агента.

Агент не просто тормозит — получает объяснение. Оно всплывает тебе, безопасность становится видимой.

Два режима: сначала смотрим, потом рулим

Prempti предлагает умный подход с двумя режимами:

Monitor — пассивный обзор. Видишь все действия агента, без блоков. Поработай так пару сессий, изучи привычки, подшлифуй правила, наберись уверенности.

Guardrails (по умолчанию) — полный контроль. Блокирует, спрашивает, пропускает по вердикту.

Переключай легко:

premptictl mode monitor      # только смотрим
premptictl mode guardrails   # включаем защиту
premptictl logs              # логи в реальном времени

Так и должно быть в security: сначала наблюдай, потом действуй осознанно.

Политики: как родные

Знаком с Falco-рулами? Тогда здесь всё интуитивно. Пример: блокировка классической атаки — пайп контента в shell (любимый трюк prompt injection):

- rule: Deny pipe to shell
  desc: Block piping content to shell interpreters
  condition: >
    tool.name = "Bash"
    and (tool.input_command contains "| sh"
         or tool.input_command contains "| bash"
         or tool.input_command contains "| zsh")
  output: >
    Falco blocked piping to a shell interpreter (%tool.input_command)
  priority: CRITICAL
  source: coding_agent