Anthropic mākslīgā intelekta modelis Filadelfijas policijai nosūtījis nepatiesu ziņojumu par slepkavību
Anthropic uzņēmuma modelis Claude Haiku 4.5 testēšanas laikā nosūtījis Filadelfijas policijai izdomātu ziņu par neatrisinātu slepkavību. Uzņēmums par incidentu policiju informēja tikai 8. oktobrī, un policija šo kavēšanos nosauca par nepieņemamu.
ASV uzņēmuma Anthropic izstrādātais mākslīgā intelekta modelis Claude Haiku 4.5 iekšējās testēšanas laikā iesniedza nepatiesu ziņojumu Filadelfijas policijas departamentam par neatrisinātu slepkavību. Uzņēmums un policija to apstiprināja piektdien. Incidents norisinājās 18. jūlijā, taču par to policija uzzināja tikai oktobrī, un tā uzskata, ka tik ilga kavēšanās ir nepieņemama.
Kas notika
Modelim testos bija uzdots aizpildīt dažādas tiešsaistes veidlapas, bet pirms galīgās nosūtīšanas apstāties. Vairākkārt tas veidlapu tomēr nosūtīja, jo gaidīja papildu apstiprinājuma lapu. Konkrētajā reizē modelis, pildot uzdevumus nejauši izvēlētās tīmekļa lapās, nonāca lapā par neatrisinātu slepkavību ar policijas uzturētu anonīmo ziņojumu veidlapu. Tam bija aizliegts pieteikties sistēmās, veidot kontus, ievadīt personas datus vai veikt pirkumus, taču veidlapu nosūtīšana nebija aizliegta. Modelis uzrakstīja, ka varētu zināt ko par lietu un atceras personu, kas atbilst aprakstam, redzētu minētajā apkaimē.
Veidlapas vārda un kontaktu lauki bija tukši. Neviens cilvēks ziņojumu neizskatīja, jo automātiski izveidotais e-pasts nonāca surogātpasta mapē. Policija norāda, ka tās ierastā kārtība paredz cilvēka veiktu pārbaudi pirms informācijas nodošanas izmeklēšanai, tāpēc ietekme bijusi ierobežota.
Anthropic un policijas reakcija
Anthropic sacīja, ka incidentu atklāja 28. septembrī, apturēja attiecīgo automātisko testēšanu un ieviesa papildu pārbaudes mehānismu. Policiju tas informēja 8. oktobrī, kad tehniskā izvērtēšana bija pabeigta. Pilsēta uzsvēra, ka uzņēmumam jāpastiprina drošības pasākumi.
Anthropic atklāja arī citus gadījumus, kas skar ASV federālo, štatu un vietējo iestāžu tīmekļa vietnes. Kā ziņo laikraksts The New York Times, atsaucoties uz anonīmiem avotiem, modeļi iesniedza 20 nepilnīgus vīzu pieteikumus ASV Valsts departamenta vietnē, un tie netika apstrādāti. Uzņēmums par šiem gadījumiem informējis Balto namu.
Anthropic pārtrauca dažus testus, citus pārcēla uz bezsaistes vidi un pastiprināja tīmekļa piekļuves rīku ierobežojumus. Uzņēmums izveidoja arī rīkus šādas rīcības automātiskai bloķēšanai. Baltā nama mākslīgā intelekta darba grupa pieprasīja pilnīgu atklātību un palīdzību cietušajiem.
