Стартап создаёт AI-«краш-тест-манекенов» для выявления опасных ответов чат-ботов

Compania Circuit Breaker Labs, один из финалистов TechCrunch Startup Battlefield 200 2026 года, разрабатывает инструменты для повышения безопасности AI-чат-ботов, особенно для детей и подростков. Стартап выступит на конференции TechCrunch Disrupt в Сан-Франциско в октябре.

Поводом стали случаи, когда общение с AI-ботами приводило к серьёзному психологическому вреду, включая самоубийства. В этом году Character.AI урегулировала несколько исков о неправомерной смерти, поданных семьями несовершеннолетних пользователей, покончивших с собой после общения с её ботами. Несколько семей также подали в суд на OpenAI из-за предполагаемой роли ChatGPT в самоубийствах и бреде их близких.

Circuit Breaker Labs основали брат и сестра Арул и Ширали Нигам, которые сослались на случай 14-летнего Сьюэлла Сетцера — подростка, у которого возникла эмоциональная привязанность к боту Character.ai, которому он признавался в мыслях о причинении себе вреда перед тем, как покончить с собой. В иске 2024 года родители утверждали, что бот поощрял эти мысли.

Как проходит тестирование

Компания создала AI-агентов, имитирующих пользователей разного возраста, происхождения, языка и культуры, чтобы проверять способность моделей распознавать опасное или психологически вредное общение. Тесты, разработанные при участии экспертов, отражают реальные речевые особенности, сленг, зашифрованный язык и опечатки, поскольку именно неформальная или нетипичная речь часто сбивает модели с толку.

Circuit Breaker Labs ежедневно проводит от десятков тысяч до сотен тысяч смоделированных разговоров и использует собственную систему оценки для получения проверяемых результатов. Сейчас компания работает с приложениями высокого риска — AI-коучингом, дневниками и инструментами поддержки психического здоровья, однако имена клиентов не раскрывает. В стартапе всего пять сотрудников, и он находится на ранней стадии развития, но его основатели считают, что повышение безопасности AI, а не запрет технологии, — правильный ответ на растущее недоверие общества.