Кибератаки грозят сделать open-source ИИ менее открытым, предупреждает руководитель Hugging Face
Ирен Соляйман, директор по политике Hugging Face, предупреждает, что рост числа кибератак может подтолкнуть платформы открытого ИИ к закрытию. По её словам, именно открытость и ценные данные делают такие платформы привлекательной целью.
Платформы искусственного интеллекта с открытым исходным кодом всё чаще становятся целью кибератак, и это может заставить их ограничить открытость. Об этом заявила Ирен Соляйман (Irene Solaiman), директор по политике и старший вице-президент по стратегии Hugging Face, платформы для ИИ-моделей и наборов данных, в недавнем выпуске подкаста Equity. По её словам, открытые двери и богатые данные, которые делают такие платформы ценными, одновременно повышают их уязвимость.
Недавние инциденты
В октябре атака на open-source ИИ-инструмент OpenCode была нацелена на сторонние API-ключи пользователей и привела к финансовому ущербу. Этим летом «рой» агентов OpenAI взломал Hugging Face, по всей видимости пытаясь замести следы после доступа к ответам на тесты по кибербезопасности. В понедельник стартап ИИ-инфраструктуры Fireworks, помогающий разработчикам запускать и обучать открытые модели, сообщил, что злоумышленники получили доступ к весам моделей, наборам данных и платёжной информации части клиентов. На время расследования компания временно отключила некоторые функции самообслуживания для работы с данными.
Дилемма открытости
Соляйман объясняет, что открытость и делает сообщество особенным: вносить вклад может любой, в том числе энтузиаст без связи с организацией. В сочетании с ценными активами, такими как оценочные наборы данных или API-ключи, это делает платформы главными целями. Она опасается, что открытый код может начать закрываться в момент, когда он получил широкую поддержку, в том числе от главы Nvidia Дженсена Хуанга. Возможные ограничения — лимиты на загрузку моделей, более строгая проверка личности или дополнительная проверка разработчиков, но это затруднит участие независимых исследователей и любителей.
Hugging Face пока старается не идти этим путём: компания усилила средства мониторинга, гораздо чаще меняет административные токены доступа и ввела более строгий сетевой контроль. Соляйман отмечает, что мониторинг дорог и не каждая платформа может его себе позволить.
Подход GitHub
GitHub, крупнейшая в мире площадка для проектов с открытым кодом, борется с злоумышленниками, внедряющими вредоносный код в проекты. Компания ужесточила требования к публикации пакетов в реестре npm, отозвала старые токены аутентификации и ограничила срок действия новых. Зак Штайндлер, инженер GitHub по безопасности цепочки поставок ПО, заявил, что речь не об ограничении функциональности, а об исправлении того, что изначально было небезопасным.
