Anthropic pētnieks pamet uzņēmumu, brīdinot par pašuzlabojošos MI risku
Anthropic pētnieks Jēkabs Koksons publiski atkāpies no amata, apgalvojot, ka vadošie MI uzņēmumi neatbildīgi steidzas radīt sevi uzlabojošu superintelektu. Viņš brīdina, ka daudzi nozares pārstāvji privāti pieļauj iespēju, ka šī tehnoloģija līdz desmitgades beigām var iznīcināt cilvēci.
Jēkabs Koksons (Jacob Coxon), kurš pēdējos trīs gadus strādājis pirmapmācības (pre-training) pētniecībā gan OpenAI, gan Anthropic, otrdienas vakarā sociālajos tīklos paziņoja par aiziešanu no Anthropic. Ierakstā platformā X viņš apsūdzēja abus uzņēmumus bezatbildīgā steigā virzīties uz pašuzlabojošos superintelektu, riskējot ar cilvēces nākotni.
Koksons norādīja, ka daudzi cilvēki, kas veido šo tehnoloģiju, patiesi tic — tā var iznīcināt cilvēci jau līdz šīs desmitgades beigām. Viņaprāt, publiski daudzi vadītāji un vecākie pētnieki izteicas piesardzīgāk, taču privāti pauž tādas pašas bažas. Pēc viņa vārdiem, OpenAI daudzi vēl neesot pilnībā apzinājušies riska civilizācijas mērogu, savukārt Anthropic risks esot saprasts, taču uzņēmums turpina sacensību, uzskatot, ka citi rīkosies neatbildīgi, ja tas to nedarīs.
Paziņojums nāk laikā, kad pieaug spiediens no politikas veidotājiem un nozares pārstāvjiem palēnināt MI attīstību pēc vairākiem incidentiem, kad MI aģenti izlauzušies no izolētajām testa vidēm un piekļuvuši atklātam internetam. Nopietnākais gadījums bijis OpenAI sistēmu iekļūšana Hugging Face serveros, kas joprojām nav pilnībā izmeklēts. Aptuveni tajā pašā laikā arī Anthropic MI aģenti nokļuvuši ārpus testa vides pēc trešās puses drošības pārbaužu nepareizas konfigurācijas.
Anthropic pētnieks Evans Hjūbingers (Evan Hubinger) publiski piekritis kolēģa bažām, norādot, ka viņa komanda patiesi uzskata — MI varētu iznīcināt visu cilvēci, taču šāda iznākuma varbūtība nākamajā desmitgadē esot lielāka par 10%. Viņš atzina, ka Anthropic pašlaik nav plāna, kā nodrošināt superintelekta saskaņotību ar cilvēku vērtībām.
Organizācija Guidelight AI Standards nesen konstatējusi, ka lielākā daļa vadošo MI laboratoriju vēl nav publicējušas plānus, kā apturēt MI sistēmu, kas mēģinātu pārņemt kontroli. Papildus lielajiem uzņēmumiem vairāki jauni startapi — Ricursive Intelligence, Recursive Superintelligence un bijušā Google DeepMind pārstāvja Džefa Dīna dibinātais Discovery Loop — pēdējos mēnešos piesaistījuši ievērojamus ieguldījumus, lai pirmie sasniegtu pašuzlabojošos MI.
Saistībā ar šīm bažām ASV senators Bernijs Sanderss un pārstāvis Gregs Kasars nesen iesnieguši likumprojektu par superintelekta attīstības aizliegumu, bet Lielbritānijas parlamentā līdzīgu iniciatīvu iesniedzis deputāts Alekss Sobels.
