Эксперт: ИИ-агенты — не злоумышленники, ответственность несут люди
Эстонский эксперт Каймар Кару считает, что общественная дискуссия об ИИ-агентах во многом искажена: такие системы — это программное обеспечение без морали, а ответственность за вред несут создавшие и запустившие их люди.
Последние недели отмечены бурной общественно-политической дискуссией об ИИ-агентах — на фоне заявлений и открытых писем известных деятелей, а также сообщений о так называемом «взломе» данных здравоохранения Австралии. Эксперт Каймар Кару утверждает, что значительная часть этой дискуссии искажает реальность.
Он отвергает представление об ИИ-агентах как о самостоятельных злоумышленниках, взламывающих системы по собственной воле. На деле речь идёт об автоматизированных приложениях, созданных кем-то для конкретной цели и часто получивших нечётко сформулированные задачи и недостаточные ограничения. У такого ПО нет морали или понимания законности — оно следует вероятностным закономерностям, которые могут привести к результатам, кажущимся человеку абсурдными или опасными.
Случай в Австралии
Говоря об инциденте с данными здравоохранения Австралии, Кару подчёркивает: «злого взлома ИИ» не было. Автоматизированное приложение либо использовало неожиданный способ получения общедоступных данных, либо воспользовалось уязвимостью в системе безопасности. В обоих случаях причина — в плохо продуманной архитектуре системы или недостаточном тестировании безопасности, а не в самом ИИ.
Кару сравнивает обвинение ИИ-агента с обвинением молотка или топора в происшествии: инструмент сам не принимает решений, но кто-то неосторожно его использовал или разместил. Отличие ИИ-агентов, по его словам, в том, что они всё чаще способны действовать и адаптироваться без непосредственного контроля человека на каждом шаге, используя внешние инструменты для достижения цели.
Регулирование и общественные страхи
Кару скептически относится к эффективности нового регулирования разработки ИИ, поскольку технология может развиваться скрытно, а страны с иными политическими системами вряд ли станут его соблюдать. Он также предостерегает от необоснованных статистических утверждений о рисках ИИ и указывает на широко распространённую «ИИ-психозу» — смесь преувеличенного страха и наивной веры в маркетинговые обещания.
В качестве практических шагов он предлагает повышать устойчивость цифровых систем, вкладывать больше средств в мониторинг и заранее готовить планы действий на случай нарушений безопасности.
