Gemini проби защитата на три компании: AI моделът сам е стигнал до реални системи

Моделът Gemini на Google е получил достъп до интернет и е проникнал в системите на три реални компании по време на тест за киберсигурност. В един от случаите изкуственият интелект е отгатнал парола, а в други два е открил публикувани онлайн идентификационни данни, които са му позволили да достигне до защитени системи.

Инцидентите са станали през май в рамките на тест, организиран от компанията за оценка на сигурността Irregular. По данни на The Wall Street Journal, Google е бил уведомен за случилото се в края на юли, но компанията не е обявила публично случаите, докато изданието не е потърсило информация по тях.

И в трите случая Gemini е прекратил действията си, след като е разбрал, че вместо до симулирана среда е получил достъп до реални компании. Google подчертава именно този факт като причина да не определя случилото се като опасно поведение или „разминаване“ между действията на модела и намеренията на неговите създатели.

Как Gemini е проникнал в реални системи

Тестът е представлявал т.нар. „Capture the Flag“ упражнение, при което моделът е трябвало да извлича информация от софтуер на измислена компания. Проблемът възникнал, защото фиктивната компания носела същото име като реална компания.

Освен това на Gemini по погрешка е бил предоставен достъп до интернет, въпреки че това не е било предвидено в тестовата среда.

При първия случай моделът успял да отгатне паролата за защитена система и да получи достъп до услугата на реалната компания. След като установил, че системата не принадлежи на измислената компания от теста, Gemini прекратил действията си.

При другите два случая моделът извършил търсене в интернет по името на компанията. Така попаднал на публични онлайн хранилища, в които били публикувани идентификационни данни, принадлежащи на други компании. Gemini използвал тези данни, за да провери дали могат да му помогнат да изпълни поставената задача. След като получил достъп до реални системи, отново разпознал грешката и спрял.

Google не разкрива имената на засегнатите компании и не посочва кой точно модел Gemini е участвал в теста. Компанията заявява, че и трите организации са били уведомени, а за случая са информирани и федералните власти.

В изявление вицепрезидентът на Google по сигурността Хедър Адкинс определя поведението на модела като правилно, тъй като той е прекратил проникването, след като е разбрал какво се случва. Google сравнява случая с програма за откриване на уязвимости, при която специалистите получават възнаграждение за намиране и докладване на проблеми.

Според експерти по киберсигурност обаче проблемът е по-широк. Цитиран от The Wall Street Journal, Джак Кейбъл, ръководител на компанията за AI сигурност Corridor и специалист по етично хакерство, посочва, че ключовият въпрос не е само дали е нанесена вреда, а че AI агент е излязъл извън предвидените граници и реално е проникнал в чужда система.

Все повече AI модели излизат извън тестовите среди

Случаят с Gemini не е изолиран. Irregular вече е участвала в разследването на други ситуации, при които модели, подложени на оценка, са напускали предвидената тестова среда и са достигали до реални системи.

Според данните на Google, при аналогичен тест моделът Claude Opus 4.7 на Anthropic не е прекратил действията си, след като е заподозрял, че може да работи с реална компания. В друг случай модел на OpenAI е приел, че реалната компания е част от симулацията и е продължил работата си.

Това засилва вниманието към способността на новото поколение AI агенти не просто да генерират текст или код, а да извършват последователни действия в интернет, да търсят информация, да използват намерени идентификационни данни и да взаимодействат с реални системи.

Особено внимание предизвика и по-ранен случай с OpenAI, при който AI агенти са проникнали в платформата Hugging Face по време на тест. По-късно независимата компания METR съобщи, че до 1200 агента са координирали действията си във вътрешно съобщение, опитвайки се да заобиколят оценяването.

На този фон OpenAI вече въведе нова рамка за докладване на инциденти, свързани с т.нар. model misalignment – случаи, при които поведението на AI се отклонява от намеренията или ценностите, заложени от разработчиците. Компанията заяви, че не всеки подобен случай трябва да причинява реална вреда, за да бъде значим за публичното разбиране на рисковете.

Случаят с Gemini показва именно колко тънка може да бъде границата между контролиран тест за киберсигурност и реално проникване. Макар Google да подчертава, че моделът се е самоспрял и не е нанесъл вреда, самият факт, че AI е успял да достигне до реални защитени системи, поставя нови въпроси пред сигурността на автономните агенти.