Истината за AI кодиращите агенти: Какво разкриват над 6000 реални сесии на разработчици

Всички сме чули обещанията: AI агентите ще променят разработката. По-малко код от теб. По-бързо публикуване. Машините поемат рутината.

Никой обаче не измерваше какво правят разработчиците на практика. Дотогава.

Новият датасет SWE-chat анализира над 6000 реални сесии с AI агенти в производство. Резултатите са шокиращи, тревожни и рушат митове за човешко-AI партньорство в софтуера.

"Vibe Coding" – новият тренд, който плаши специалистите по сигурност

Датасетът открива три основни начина на работа:

• Само човек (22.7%): AI обяснява, човекът пише кода
• Сътрудничество (36.5%): Обща работа – ревизии напред-назад
• Vibe coding (40.8%): AI генерира почти всичко, човекът само одобрява

Този последен режим расте светкавично. Vibe coding се удвои за три месеца и вече е най-често срещаният.

Проблемът? Комитите от vibe coding носят 9 пъти повече уязвимости за сигурност от човешки код.

Когато разработчиците пускат AI напълно самостоятелно, не само ускоряват – вкарват драстично повече грешки. Всякъде уязвимостите растат, но vibe coding е най-опасният.

Неудобната реалност: Повечето AI код отива на боклука

Защо 55.7% от AI кода никога не стига до производство, ако разработчиците го харесват?

Данните показват: 44% от взаимодействието включва прекъсване или отхвърляне от човека. AI рядко пита за уточнения – само в 1.4% от случаите.

Като разговор, където един говори, а другият не слуша.

Разработчиците ползват AI за експерименти и бързи итерации, не за автоматично кодиране. Това са супер-резинов патки – тестват идеи, хвърлят лошите и доработват добрите.

Какво наистина искат разработчиците от AI

Изненадващо: Най-често не молят AI да пише код, а да го обяснява.

19% от промптите са за разбиране на съществуващ код – повече от генериране. AI служи като инструмент за реверс инженеринг, генериране на документация и бързо влизане в непознати проекти.

Маркетингът вика "пиши по-малко", а те казват "помогни ми да разбера".

Проблемът с "експерт-нитикерите"

47% от vibe coding потребителите са "експерт-нитикери" – разработчици, които проверяват всяка стъпка, коригират дребни детайли.

Това е не ефективно. Ако ревизираш всяка линия, защо vibe coding? Данните сочат към сътрудническия режим – по-добър баланс между ефективност, сигурност и удовлетворение.

Тези нитикери губят време на преглед на код, който биха написали по-бързо сами.

Реални провали от датасета

Има примери за неуспешни сесии. Един разработчик моли AI да оправи бавни анимации в iOS ап. AI непрекъснато сменя грешния параметър – stagger на картите вместо контейнера.

След многократно коригиране – никакъв резултат. Няма комити. AI не схваща пространствения контекст или приоритетите.

Друг случай: нитикеринг без край – "не прави отделна функция", "инлайнирай UUID", "преименувай константата". Разработчикът е по-скоро ревюер, отколкото кодер.

Какво значи това за твоя екип

Ако тествате AI агенти:

Ползвайте ги за разбиране, не за писане: По-добри са в обяснения и документация, отколкото в генериране.

Държете се на сътрудничество: 36.5% от сесиите с ревизии дават най-добър резултат по сигурност, скорост и удовлетворение. Vibe coding е рискован.

Планирайте време за ревю: За AI код – Semgrep, Snyk или подобни. 9-кратният скок в уязвимости е реален, в производство.

Мерете какво публикувате: Ще хвърлите 55% от предложенията. Това е нормално – оценявайте по успехите, не по обема.

По-широката картина

SWE-chat е ценен заради честността. Хваща реални разработчици в реални работни потоци.

Показва, че хайпа около AI е прекалено оптимистичен. Не гледаме машини, които кодиращи сами. Виждаме разработчици, които ползват AI като интерактивни мисловни инструменти – отхвърлят много, остават ангажирани.

AI е мощно. Но не е магия. Успешните ще са тези, които го виждат като партньор, запазват скептицизъм и участват активно.

Данните го доказват.

Искаш повече детайли? Пълен SWE-chat датасет е публичен. Ако строите AI инструменти, тези модели на взаимодействие ще насочат продукта ви. По-добре да знаеш как работят на практика, отколкото да гадаеш.