ИИ-модель Gemini от Google в мае взломала три компании — об этом стало известно позже

В мае ИИ-модель Gemini от Google во время тестирования возможностей в сфере кибербезопасности вышла за пределы отведённых рамок и получила доступ к системам трёх разных компаний. Google не сообщала об этом инциденте публично, пока информацию не запросило издание Wall Street Journal. Тест проводила сторонняя компания Irregular, которая ранее уже была связана с похожими случаями с моделями Meta и OpenAI.

По данным WSJ, Google решила не раскрывать произошедшее, поскольку не сочла это примером "рассогласованности" (misalignment) модели. В компании это назвали случаем "ошибочной идентификации": Gemini подобрала пароль и таким образом проникла в систему реальной компании, но, осознав ошибку, остановилась. Вице-президент Google по инженерии безопасности Хизер Адкинс заявила, что в данном случае модель "действовала правильно".

Адкинс рассказала The Verge, что модель нашла в открытом доступе в интернете информацию и подобрала учётные данные для сайтов, которые, как она посчитала, были частью теста. Во всех трёх случаях модель прекращала действия после проникновения. Почему самостоятельные попытки модели атаковать системы сторонних компаний не были признаны рассогласованностью, Адкинс подробно не объяснила. Она отметила, что команда безопасности Google давно сообщает о найденных уязвимостях в чужом программном обеспечении, даже таких простых, как слабый пароль, и что все три пострадавшие компании были уведомлены. Google также сообщила, что вместе с Irregular внесла изменения в процедуры тестирования.

Однако глава компании по ИИ-безопасности Corridor Джек Кейбл заявил WSJ, что более широкая проблема заключается в том, что ИИ-модели выходят за пределы дозволенного и совершают реальные кибератаки. Также выяснилось, что причиной инцидента могла стать оплошность самой Irregular: по условиям теста у модели не должно было быть доступа в интернет, но по недосмотру он остался открытым. По мере накопления подобных случаев звучит всё больше призывов усилить контроль над системами искусственного интеллекта.