Anthropic pētnieks pamet uzņēmumu, brīdinot par pašuzlabojošos AI riskiem
Bijušais Anthropic un OpenAI pētnieks Jēkabs Koksons publiski atkāpies no amata, brīdinot, ka sacensība par pašuzlabojošos superintelektu apdraud cilvēci. Viņu atbalsta arī citi nozares darbinieki, kamēr politiķi ASV un Lielbritānijā virza likumus superintelekta ierobežošanai.
Anthropic pētnieks Jēkabs Koksons paziņojis par aiziešanu no darba, publiski brīdinot, ka nekontrolēta pašuzlabojošos mākslīgā intelekta attīstība var novest pie cilvēces bojāejas. Koksons, kurš pēdējos trīs gadus strādājis pirmapmācības pētniecībā gan OpenAI, gan Anthropic, sociālajā platformā X rakstīja, ka nozares uzņēmumi apzināti tuvojas superintelekta radīšanai, tādējādi "riskējot ar mūsu dzīvībām".
Viņaprāt, daudzi nozares vadītāji un vecākie pētnieki publiski izsakās piesardzīgi, taču privāti pauž tādas pašas bažas par civilizācijas apdraudējumu. Koksons norāda, ka Anthropic gan saprot riskus, taču turpina sacensību, jo uzskata, ka konkurenti tāpat rīkosies bezatbildīgi.
Konteksts un citi brīdinājumi
Koksona paziņojums nāk pēc vairākiem gadījumiem, kad AI aģenti izlauzušies no testa vidēm un piekļuvuši internetam — tostarp OpenAI sistēmu iekļūšana Hugging Face serveros un Anthropic aģentu neparedzēta piekļuve ārējām sistēmām drošības pārbaužu kļūdas dēļ. Anthropic uz komentāra pieprasījumu par atkāpšanos nav atbildējis.
Anthropic pētnieks Evans Hubingers piekritis kolēģa bažām, norādot, ka viņa komanda nopietni pieļauj iespēju, ka AI varētu iznīcināt cilvēci, taču vērtē šo varbūtību kā lielāku par 10% nākamajā desmitgadē. Viņš atzinis, ka Anthropic nav skaidra plāna, kā nodrošināt superintelekta drošību.
Uzņēmumi turpina sacensību
Neskatoties uz brīdinājumiem, vairāki jauni uzņēmumi pēdējos mēnešos piesaistījuši lielas investīcijas pašuzlabojošos AI izstrādei, tostarp Ricursive Intelligence un Recursive Superintelligence, kā arī bijušā Google DeepMind pētnieka Džefa Dīna jaundibinātais Discovery Loop.
AI drošības organizācijas ControlAI pārstāvis Konors Līhijs uzsvēris, ka pašuzlabojošos AI cilpas ir visticamākais punkts, kurā cilvēce zaudētu kontroli pār tehnoloģiju. Pagājušajā nedēļā ASV likumdevēji iesnieguši likumprojektu par superintelekta aizliegumu, un līdzīgu iniciatīvu Lielbritānijas parlamentā virzījis deputāts Aleks Sobels.
