Истражувачите од Универзитетот во Тексас во Сан Антонио (UTSA) спроведоа едно од најсеопфатните студии досега за безбедносните ризици од користењето на вештачката интелигенција (ВИ) за развој на софтвер.
Нивните наоди ја нагласуваат критичната ранливост што ја нарекуваат „халуцинација “, предизвикана од тип на грешка во која LLM (Large Language Model) препорачува непостоечки софтверски пакети за време на генерирањето код.
Истражувањето е спроведено од докторанти на компјутерски науки на UTSA, а треба да биде објавено на престижниот
USENIX Security Symposium 2025 година . Проектот вклучуваше мултиинституционален тим вклучувајќи истражувачи од неколку универзитети во САД.
Додека повеќето истражувања за „халуцинации“ се фокусираат на задачи за вештачка интелигенција поврзани со јазикот, како што се превод или сумирање, студијата на UTSA се фокусира на „халуцинации на пакети .“ Овие грешки се јавуваат кога LLM предлага користење библиотеки од трета страна кои не постојат.
Ова може да ја отвори вратата за сериозни закани за сајбер безбедноста доколку напаѓачите регистрираат малициозни пакети под тие непостоечки имиња. Истражувачите објаснија дека заканата е многу едноставна, бидејќи претставува нормална команда што развивачот може да ја напише, нешто толку основно како увоз на пакет во Python.
Сепак, ова може да доведе до голем безбедносен проблем ако лажниот пакет подоцна е регистриран со злонамерен код . Како што програмерите се повеќе се потпираат на вештачката интелигенција, влогот расте.
Студијата наведува дека 97% од програмерите сега користат генеративни алатки за вештачка интелигенција, а приближно 30% од новиот код е генериран од ВИ. Бидејќи многу програмски средини, како што се PyPI за Python или npm за JavaScript , се потпираат на бази на податоци со отворен код, ова им олеснува на лошите актери да ги искористат „халуцинациите“ со вчитување на малициозни пакети.
Ако ChatGPT предложи лажен пакет и корисникот го изврши кодот, напаѓачот може да го регистрира тоа лажно име на пакетот и да внесе злонамерен код. Потоа, секогаш кога некој друг користи LLM, тие несвесно преземаат и стартуваат малициозен софтвер .
Истражувачите на UTSA извршија 30 тестови преку Python и JavaScript, генерирајќи над 2 милиони примероци на код . Откриле дека 450.000 од нив вклучуваат „халуцинирани“ пакети.
Моделите GPT имале значително пониски стапки на „халуцинации“ ( 5% ) во споредба со LLM со отворен код ( 20% ). Пајтон исто така беше помалку склон кон овие грешки од JavaScript.
Конечно, студијата ја нагласува растечката доверба на корисниците во LLM и како таа доверба може да се искористи. Додека
вкрстената проверка на пакетите може да го намали ризикот, истражувачите веруваат дека вистинското решение лежи во подобрувањето на самите LLM .
Тимот ги сподели своите наоди со главните развивачи на вештачка интелигенција, вклучувајќи ги
OpenAI, Meta, DeepSeek и Mistral AI . Во ред е ремонт на вештачката интелигенција за генерирање на кодови, чии резултати ќе се видат наскоро.