Anthropic разрабатывает систему, подтверждающую, какая модель ИИ дала ответ
Компания Anthropic, работающая в сфере искусственного интеллекта, создаёт систему FlashProve с открытым кодом, которая криптографически подтверждала бы, что ответ выдала конкретная модель. Исследования продолжаются, внедрение не планируется.
Американская компания Anthropic, разработчик моделей Claude, сообщила в блоге, опубликованном во вторник, о работе над системой FlashProve с открытым исходным кодом. Она должна позволять проверять, какая модель искусственного интеллекта создала тот или иной ответ. Цель — чтобы пользователь мог убедиться, что ответ действительно получен от той модели, которой, по его мнению, он пользуется.
Как это должно работать
Система опирается на так называемый «доказуемый вывод» (англ. provable inference) — криптографическое доказательство, по сути математическую гарантию того, что ответ выдан определённой моделью. Исследователи сравнивают его с криптографическими подписями электронной почты, которые позволяют получателю подтвердить отправителя письма. По их словам, FlashProve будет устойчива к попыткам выдать одну модель за другую, даже если это делает сама лаборатория, создавшая и запускающая модель.
Исследователи отмечают, что так можно помешать компании тайно подменять модель более дешёвой ради экономии или более дорогой ради завышения результатов тестов. Систему также можно применять для проверки заявлений третьих лиц о том, что задачу выполнила продвинутая модель, например что библиотеку программного кода проверила на уязвимости ведущая модель в области кибербезопасности.
Веса моделей остаются закрытыми
Чтобы система работала, лабораториям ИИ нужно публиковать «отпечаток» каждой выпускаемой модели, который позже можно сопоставить с конкретными ответами и проверить криптографически. Отпечатки не раскрывают веса модели — внутренние числа, определяющие её поведение, которые создатели закрытых моделей, включая Anthropic и OpenAI, держат в секрете. Поэтому система подойдёт и для коммерческих моделей. Она также рассчитана на небольшую нагрузку, чтобы проверку можно было выполнять на локальном устройстве.
Исследователи опубликовали подробную техническую спецификацию и рабочий код для ряда элементов системы под открытой лицензией на GitHub.
Исследования продолжаются, внедрять систему в Anthropic или других лабораториях пока не планируется. Авторы пишут, что публикация отражает промежуточные результаты, а не завершённую исследовательскую программу, и надеются, что другие возьмут их наработки и улучшат их.
