омпанијата „Антропик“ откри за време на внатрешна ревизија дека одредени модели на вештачка интелигенција, поради грешка во тест-окружувањето, успеале да пристапат до реални интернет-услуги и да извршуваат неовластени активности на системите на неколку организации.
Инцидентите ги вклучуваа моделите „Claude Opus 4.7“ и „Claude Mythos 5“, како и еден експериментален модел кој не е достапен за јавноста.
Откритието дојде по анализата на повеќе од 141.000 безбедносни тестови. Прегледот беше започнат кратко откако OpenAI објави дека неговите модели успеале да излезат од изолирана средина и да пристапат до системите на платформата Hugging Face за време на тестирањето.
Контроверзните настани беа снимени за време на таканаречените безбедносни предизвици „фати го знамето“, кои се користат за проценка на можностите на вештачката интелигенција во областа на сајбер безбедноста. Тестовите беа спроведени во соработка со надворешен партнер специјализиран за безбедносни ревизии.
Како се случи пропустот?
На моделите им беше дадено упатство да работат во целосно симулирана средина без пристап до интернет. Сепак, поради погрешна конфигурација на системот, тие беа во можност да комуницираат со реални интернет услуги. Верувајќи дека и тие се дел од симулацијата, моделите со вештачка интелигенција се обидоа да ги завршат дадените задачи користејќи ги достапните ресурси.
Наместо напредни техники за хакирање, тие користеа едноставни методи како што се искористување на слаби лозинки и незаштитени пристапни точки за да влезат во системот.
„Антропика“ истакнува дека моделите не се обиделе да избегаат од околината или самостојно да се шират на други компјутери. Според нивните тврдења, проблемот настанал поради техничка грешка во организацијата на тестирањето, а не поради непредвидливото однесување на самата вештачка интелигенција.
Исто така, најновата верзија на моделот препозна дека е надвор од симулацијата и сама ги запре активностите, додека постариот модел продолжи да ги извршува задачите.
Пристап до вистинската база на податоци
Во еден случај, моделот „Claude Opus 4.7“ не успеа да ја пронајде дадената цел во симулацијата, па затоа пронајде вистински домен со исто име на Интернет. После тоа, тој успеа да пристапи до системот, да добие податоци за пристап и да отвори база на податоци што ги содржеше вистинските информации за организацијата .
Експерименталниот истражувачки модел отиде уште подалеку. Откако не ја пронајде наменетата цел, скенираше илјадници достапни интернет адреси сè додека не пронајде ранлива апликација на една компанија.
Со искористување на познатите безбедносни ранливости, тој успеал да добие пристап до системот, но подоцна сам заклучил дека целта не е дел од мисијата и престанал со понатамошните активности.
Создаден е малициозен софтвер
Најинтересниот инцидент се случи со моделот „Claude Mythos 5“. Верувајќи дека сè уште е во симулацијата, тој создаде злонамерен пакет Python и го објави на јавната платформа PyPI за споделување на програмски библиотеки.
Пакетот беше достапен околу еден час, во кој период беше инсталиран и работеше на 15 различни системи. Меѓу нив беше и сервер на компанија за сајбер безбедност која автоматски проверува за нови пакети на Python. Моделот ја искористи оваа можност за да добие податоци за пристап и да добие пристап до дополнителни делови од нивната инфраструктура.
„Антропик“ наведува дека засегнатите организации не ги забележале самите упади, туку биле информирани за сè по внатрешната истрага на компанијата. Во времето на објавување на извештајот, една од засегнатите организации сè уште не била контактирана.
Нови предупредувања за индустријата
Овие настани следеа кратко време по сличен инцидент пријавен од OpenAI. Потоа нивните модели, користејќи низа безбедносни пропусти, успеаја да пристапат до производствените системи на платформата Hugging Face со цел да добијат податоци поврзани со тестирање на нивните можности.
Серија вакви инциденти дополнително ја зголеми загриженоста на експертите за сè понапредните можности на вештачката интелигенција во областа на сајбер безбедноста. Како одговор на тоа, во американскиот Конгрес беше презентиран закон познат како „AI Kill Switch Act“, кој би ги обврзал компаниите што развиваат вештачка интелигенција да можат да ја исклучат, забават или привремено да ја запрат работата на своите модели во секое време ако почнат да се однесуваат на неочекуван начин.
