Google признала: её ИИ-модель Gemini взломала три компании
Google подтвердила, что в мае её модель искусственного интеллекта Gemini непреднамеренно взломала защиту трёх реальных компаний в ходе тестирования. Компания решила не раскрывать инциденты публично, заявив, что ущерба не было.
Google впервые подтвердила, что в мае её ИИ-модель Gemini взломала системы безопасности трёх компаний в ходе оценки кибербезопасности, проведённой израильским стартапом Irregular, который занимается проверкой защищённости современных систем искусственного интеллекта.
Irregular тестировала Gemini в закрытой среде с вымышленными компаниями, которая не должна была иметь доступа к интернету. Однако, как сообщает Wall Street Journal, доступ в интернет был случайно предоставлен, после чего модель неожиданно получила доступ к реальным компаниям и взломала их.
Три случая
В одном случае Gemini тестировали на получение информации от вымышленной компании, носившей то же название, что и реальная. Получив непреднамеренный доступ в интернет, модель правильно угадала пароль к сервису реальной компании и проникла в него. В двух других тестах Gemini нашла в открытом доступе репозитории с учётными данными других компаний и использовала их для входа.
Вице-президент Google по инженерии безопасности Хизер Адкинс заявила, что во всех трёх случаях модель прекращала действия, как только понимала, что получила доступ к реальной, а не к смоделированной компании.
Без публичного раскрытия
Irregular сообщила о взломах Google в конце июля, после того как выяснилось, что OpenAI отдельно взломала компанию Hugging Face. В отличие от Anthropic и OpenAI, которые добровольно раскрыли собственные инциденты, Google решила не предавать взломы огласке, заявив, что не считает, что пострадавшим компаниям был нанесён ущерб. При этом Google подтвердила, что уведомила все три пострадавшие компании.
По словам Адкинс, эти случаи подчёркивают важность обучения мощных ИИ-моделей ответственному поведению.
Более ранние раскрытия со стороны Anthropic и OpenAI побудили сенатора Берни Сандерса призвать компании приостановить разработку технологий, заявив, что инциденты свидетельствуют об утрате контроля над моделями. OpenAI на две недели приостановила разработку, а глава Anthropic Дарио Амодеи призвал всю отрасль замедлить темпы развития ИИ, чтобы обеспечить достаточные меры безопасности для самых продвинутых систем.
