Стиль кода как отпечаток пальца: поможет ли он ловить уязвимости?

Каждый разработчик пишет по-своему. Кто-то выравнивает фигурные скобки идеально. Другие любят короткие имена переменных. Один запихивает циклы в циклы без зазрения совести, а другой всё разбивает на функции. Эти мелкие привычки накапливаются в тысячах строк кода. Они уникальны, как почерк.

Исследователи из UMass Dartmouth задались вопросом: А нельзя ли по таким паттернам находить уязвимый код до релиза?

Стиль как сигнал опасности

Идея простая и изящная. Если разработчик грешит ошибками — небрежно работает с буферами, путается в арифметике указателей или хаотично именует переменные, — эти огрехи повторяются. Они не появляются разово, а тянутся через весь код, как акцент в речи.

Так появился VulStyle — модель машинного обучения, которая видит в стиле кода подсказку для безопасности. Она не просто ищет известные "плохие" токены или опасные API. VulStyle анализирует стилистику: как объявляете переменные, строите выражения, организуете if и циклы. Всё это сочетается с классическим разбором структуры и синтаксиса.

Тесты дали хорошие результаты. На бенчмарках модель обогнала аналоги, которые смотрят только на токены и синтаксис. Стиль и структура дополняют друг друга: структура показывает что делает код, а стиль — как его пишут. Вместе они дают полную картину рисков.

Проблема с бенчмарками, о которой молчат

А вот здесь начинается интересное.

VulStyle блистает на одних датасетах и проваливается на других. На DiverseVul — свежем бенчмарке, созданном для исправления старых ошибок, — точность падает в разы. Авторы сами признают: многие популярные датасеты полны "грязных" меток, что завышает цифры.

Это не беда только VulStyle. Во всей ML-безопасности одно и то же: модель круто работает на наборе A в лаборатории, а на сете B в реальности — полный провал. Дело не в модели, а в датасетах: как их собрали, какие данные использовали и отражают ли они production.

Для команд по безопасности вывод ясен: заголовки с точностью 95% — это не панацея.

Код от ИИ ломает всю идею

Есть проблема поглубже, особенно актуальная в 2024-м.

VulStyle полагается на то, что у разработчика есть уникальный стиль. Но код от LLM — GitHub Copilot, ChatGPT, Claude — такой стиль стирает:

• Форматирование одинаковое (никаких личных фишек)
• Синтаксис "безопасный" (без странных вложенностей)
• Привычки отсутствуют (по определению)

Сигнал стиля пропадает. Отпечатка, который модель ищет, просто нет.

Авторы упоминают это ограничение, но стоит повторить: с ростом ИИ-разработки такие методы теряют силу.

А если атакующий подстроится?

Остаётся открытый вопрос об атаках. Исследователи говорят: стиль трудно обмануть — нужно менять сразу несколько сигналов. Логично. Но тестов нет.

Что если вредоносный код прогнать через formatter, переименовать переменные и перестроить пару выражений? Выживет ли стиль-сигнал? Пока неизвестно. Это поле для будущих исследований.

Что это значит для вашей инфраструктуры

VulStyle — прототип для исследований, не инструмент для скачивания. Но идея ценная: комбинация стиля, структуры и лексики улучшает поиск багов в некоторых случаях.

Практические выводы скромнее:

1. Не верьте одному бенчмарку — Спросите, на каком датасете 95% точности. Тестируйте на своём коде.

2. Учитывайте смещение датасетов — Популярные сеты могут не отражать реальные уязвимости или ваш код.

3. Готовьтесь к коду от ИИ — С Copilot стиль-анализ слабеет. Нужны другие подходы.

4. Ждите угасания сигналов — Методы на поведении разработчиков ослабевают под натиском ИИ.

Куда дальше

Исследования по детекции уязвимостей растут, но зрелость требует честности. Однофичерные модели не обобщаются. Бенчмарки обманывают. А способы писать код меняются на глазах.

Лучшая защита — многослойная: статический анализ, динамические тесты, ревью, проверка цепочки поставок и мониторинг в runtime. Ни один сигнал — ни стиль, ни синтаксис, ни структура — не спасёт сам по себе.

Понимание, почему сигналы работают, где ломаются и как сочетаются, — вот ключ к устойчивой безопасности.