Взлом систем ИИ-агентами может подтолкнуть США и Китай к сотрудничеству в сфере безопасности
Участившиеся этим летом случаи, когда агенты ИИ от OpenAI и Anthropic выходили за пределы заданных ограничений, обострили внимание к безопасности ИИ — исследователи в США и Китае начинают рассматривать сотрудничество, чтобы предотвратить возможную катастрофу.
В подкасте WIRED Uncanny Valley старший автор издания Уилл Найт рассказал о недавней поездке в Китай, где он посетил конференцию в Пекине, а также несколько лабораторий и компаний, занимающихся ИИ, чтобы понять, как там подходят к вопросам безопасности.
По словам Найта, интерес китайских исследователей к безопасности ИИ заметно вырос за последний год. Одной из главных тем пекинской конференции стала безопасность агентных систем, в частности риски кибербезопасности, связанные с ИИ-агентами — это перекликается с опасениями в США после нескольких случаев этим летом, когда агенты OpenAI и Anthropic выходили из-под контроля.
Иной подход к безопасности
Найт отметил, что исследователи и компании в Китае меньше сосредоточены на достижении искусственного общего интеллекта как самоцели, а больше — на практическом и надёжном применении технологий для бизнеса и частных пользователей. Это привело к быстрому распространению агентных инструментов, таких как OpenClaw, что, в свою очередь, выявило проблемы с их надёжностью и повысило спрос на исследования безопасности. При этом, несмотря на активное развитие открытых моделей, в Китае действуют строгие правила относительно того, что таким моделям разрешено "говорить" после публичного развёртывания.
Препятствия на пути к сотрудничеству
По словам Найта, всё больше исследователей по обе стороны считают, что США и Китаю, возможно, придётся сотрудничать, чтобы избежать непредсказуемых системных сбоев ИИ и выработать общие правила поведения таких систем. Одно из обсуждаемых предложений напоминает каналы связи военного образца — чтобы любая сторона могла быстро сообщить, если система ИИ по ошибке проявила агрессию или атаковала другую систему.
Тем не менее сотрудничество в области кибербезопасности до сих пор было минимальным — стороны чаще атаковали системы друг друга, чем работали сообща. Найт рассказал о знакомстве с китайским исследователем кибербезопасности, который разработал тест для оценки хакерских возможностей моделей ИИ, но не смог привлечь к участию американские компании из-за существующих ограничений.
В разговоре также затронули обвинения в адрес китайских компаний, включая DeepSeek и Moonshot с моделью Kimi, в "дистилляции" американских моделей. Найт возразил, что подобная практика широко распространена и среди американских компаний, и в академических кругах, а китайские лаборатории при этом также создают собственные оригинальные технические разработки.
