Anthropic drošības vadītājs: iespēja, ka AI iznīcinās cilvēci, pārsniedz 10%
Pēc kolēģa aiziešanas no Anthropic, protestējot pret nepārdomātu AI attīstības tempu, uzņēmuma drošības komandas vadītājs atzinis, ka pastāv vairāk nekā 10% iespēja, ka AI līdz desmitgades beigām varētu iznīcināt visu cilvēci.
Anthropic drošības pētnieks Evans Hubingers publiski atzinis, ka viņš tic — mākslīgā intelekta (AI) sistēmas nākamās desmitgades laikā ar vairāk nekā 10% varbūtību varētu apdraudēt visas cilvēces izdzīvošanu. Paziņojums izskanēja stundas pēc tam, kad no uzņēmuma aizgāja pētnieks Džeikobs Koksons, kurš savā laikā trenējis AI sistēmas gan Anthropic, gan OpenAI.
Koksons aiziešanu paskaidroja platformā X, norādot, ka pametis Anthropic tāpēc, ka uzņēmums pieiet drošības jautājumiem pārāk vieglprātīgi. Viņš apsūdzēja gan Anthropic, gan tās konkurentus steidzīgā un nekontrolētā centienā izveidot pašpilnveidojošos "superinteliģentus" AI, riskējot ar cilvēku dzīvībām, lai gan paši AI izstrādātāji, pēc viņa vārdiem, patiesi tic, ka šī tehnoloģija varētu iznīcināt cilvēci jau līdz desmitgades beigām.
Bažas par pašpilnveidošanos
Nozares pārstāvji jau ilgstoši pauduši satraukumu par tā sauto "rekursīvo pašpilnveidošanos" — scenāriju, kurā AI sistēmas varētu sākt uzlabot pašas sevi tādā tempā, ka tās izslīd no cilvēku kontroles. Lai gan šis scenārijs vēl nav realizējies, uzņēmumi aktīvi virzās šī mērķa virzienā, un liela daļa mūsdienu AI koda jau tiek rakstīta ar citu AI palīdzību.
Hubingers, kurš vada vienu no Anthropic drošības komandām, atzina, ka pašpilnveidošanās process notiek straujāk, nekā gaidīts, un piekrita Koksona raksturojumam par riskiem. Tomēr viņš atzina, ka Anthropic pagaidām nav skaidra plāna, kā nodrošināt, ka progresīvās AI sistēmas paliek drošas un atbilst cilvēku vērtībām, un uzņēmums pat nav droši uz ceļa šāda plāna izveidei.
Koksona aiziešana ir viens no visredzamākajiem gadījumiem, kad darbinieks pametis Anthropic — uzņēmumu, ko dibinājuši bijušie OpenAI darbinieki tieši drošības apsvērumu dēļ. Pēdējos gados vairāki pētnieki līdzīgus iemeslus minējuši arī, pametot OpenAI.
Šis incidents atspoguļo pieaugošas bažas nozarē par arvien sarežģītāku AI modeļu attīstības tempu, jo īpaši laikā, kad uzņēmumi gatavojas gaidāmajiem sākotnējiem publiskajiem akciju piedāvājumiem un vienlaikus risina sekas pēc vairākiem negaidītiem AI aģentu incidentiem un brīdinājumiem par grūtībām uzraudzīt jaunākos AI modeļus.
