Styl programování může odhalit díry v kódu – ale jen dočasně

Každý programátor píše po svém. Někdo pečlivě zarovnává závorky. Jiný volí krátká jména proměnných. Jeden se nebojí hlubokých vnořených smyček, druhý všechno rozloží do pomocných funkcí. Tyto drobné návyky se v kódu opakují a jsou jedinečné jako podpis.

Výzkumníci z UMass Dartmouth se ptali: Lze tyto styly využít k odhalení chybných míst dřív, než kód vyplují do světa?

Jak styl prozrazuje rizika

Myšlenka je chytrá. Pokud programátor má špatné návyky – nedbalé zpracování bufferů, nepravidelné operace s pointery nebo chaotické pojmenování – tyto chyby se opakují. Nejsou to náhodné lapsy, ale trvalý vzorec, jako výslovnost, kterou nelze skrýt.

Proto vznikl VulStyle, model strojového učení, co bere styl kódu jako bezpečnostní signál. Nehledá jen známé nebezpečné příkazy nebo API volání. Analyzuje, jak deklarujete proměnné, strukturované výrazy, podmínky a smyčky. Spojuje to s klasickou analýzou struktury a syntaxe.

První testy slibovaly hodně. Na několika benchmarkách překonal modely, co se dívají jen na tokeny a syntaxi. Styl ukazuje jak píšete, struktura co děláte. Společně dávají lepší obrázek rizik.

Problém s testovacími daty

Tady to začne komplikovat.

VulStyle exceluje na některých sadách dat, ale na jiných selhává. Na DiverseVul, novém benchmarku opraveném proti starým chybám, klesá výkon dramaticky. Autoři sami přiznávají, že staré benchmarky mají šum v labely a nafukují výsledky.

Tohle není jen o VulStyle. V bezpečnostním ML výzkumu se to opakuje: model funguje na jednom datasetu, v reálu na druhém padá. Důvod? Špatná konstrukce benchmarků, nevhodná tréninková data a nesoulad s produkcí.

Pro týmy v bezpečnosti to znamená: Hlášky o přesnosti jsou k ničemu bez kontextu.

Kód z AI ničí celý koncept

Je tu ale větší háček, hlavně pro nás v roce 2024.

VulStyle předpokládá, že každý má unikátní styl. Jenže čím dál víc kódu v repozitářích píšou LLM – GitHub Copilot, ChatGPT, Claude. Ten kód je:

• Uniforemně naformátovaný (bez osobních výstřelků)
• Bezpečný v syntaxi (žádné divné vnoření)
• Bez individuálních návyků (úmyslně)

Stylový otisk prostě zmizí. Nikdy tam nebyl.

Autoři to uznávají, ale je dobré to zdůraznit: S rostoucím AI v developmentu se styl jako bezpečnostní signál rychle vytrácí.

Co se stane při útoku?

Zůstává otevřená otázka protivníka. Výzkumníci říkají, že styl je těžší oklamat – útočník by musel měnit víc signálů najednou. Teorie ano, ale testy chybí.

Co když zlobivý developer projede kód formátérem, přejmenuje proměnné a přeuspořádá výrazy? Přežije stylový signál? To ještě nevíme. Materiál pro další výzkum.

Co s tím pro vaši infrastrukturu?

VulStyle je zatím jen prototyp z laboratoře. Ne stačíte ho nainstalovat. Ale myšlenka stojí za to: Kombinace stylu, struktury a slovníku zlepšuje detekci některých chyb.

Praktické rady jsou opatrnější:

1. Nevěřte jednomu benchmarku – 95% přesnost? Zeptejte se na dataset. Otestujte na svém kódu.

2. Pozor na bias v datech – Oblíbené sady nemusí odpovídat reálným chybám nebo vašemu kódu.

3. Připravte se na AI kód – S Copilotem stylová analýza slábne. Hledejte jiné metody.

4. Signály slábnou – Detekce závislá na návykech programátorů bude mít problém s AI vyrovnáváním.

Kam dál

Výzkum detekce zranitelností dospívá, ale s pravdou v zuboch. Jednoduché modely se neobecní. Benchmarky klamou. A způsob psaní kódu se mění.

Nejlepší ochrana je vrstvená: statická analýza, dynamické testy, code review, kontrola supply chainu a runtime monitoring. Žádný signál sám nestačí – styl, syntaxe ani struktura.

Klíč je pochopit, proč fungují, kde selžou a jak se doplňují. Tak se bezpečnostní týmy posílí.