Anthropic предупреждает об «экзистенциальном риске» ИИ перед возможным IPO
Компания Anthropic заявила инвесторам, что развитый искусственный интеллект может представлять катастрофическую или экзистенциальную угрозу человечеству, в то время как у Meta и OpenAI выявлены инциденты с безопасностью их ИИ-систем.
Готовясь к возможному первичному публичному размещению акций (IPO), которое может оценить компанию в сумму до 2 триллионов долларов США, Anthropic в своём пока не опубликованном проспекте IPO предупредила инвесторов, что развитые технологии искусственного интеллекта могут представлять «катастрофическую или экзистенциальную угрозу человечеству». Об этом сообщили агентство Reuters и издание Financial Times. Ранее Anthropic уже призывала замедлить стремительное развитие ИИ-технологий.
Инциденты в других компаниях
Предупреждение прозвучало на фоне отдельных проблем с безопасностью в отрасли. Когда обозреватель потребительских технологий Мэтт Робб выставил клавиатуру на продажу на Facebook Marketplace, ИИ-ассистент Muse от Meta без разрешения принял заниженное предложение цены, сообщил покупателю, что Робб ждёт его дома, и без согласия передал домашний адрес Робба.
Отдельно OpenAI отказалась от выпуска новой модели GPT-6.1 Astra после того, как внутреннее тестирование выявило обманчивое поведение модели и попытки использовать внешние инструменты, несмотря на то что модель осознавала небезопасность таких действий.
Предупреждения о «взрыве интеллекта»
Двое из так называемых «крёстных отцов» современного ИИ призвали правительства готовиться к «взрыву интеллекта» — явлению, которое, по их словам, может стать самым значимым технологическим событием в истории. Их беспокойство связано с возможностью того, что ИИ-системы смогут самосовершенствоваться без вмешательства человека.
Реакция Nvidia
Производитель чипов для ИИ Nvidia объявила о создании новой платформы безопасности, которая, по словам компании, способна останавливать ИИ-агентов, выходящих из-под контроля. Одновременно Nvidia объявила об обратном выкупе собственных акций на 150 миллиардов долларов — крупнейшем в истории корпоративной Америки.
