OpenAI aptur daļu darba pie modeļa Astra kiberdrošības risku dēļ
OpenAI paziņoja, ka apturējusi dažus izstrādes aspektus vēl nepabeigtajam modelim Astra pēc tam, kad iekšējā pārbaude atklāja tā spēju patstāvīgi veikt kiberuzbrukumus. Uzņēmums pastiprina drošības pasākumus, kamēr turpina modeļa novērtēšanu.
Uzņēmums OpenAI piektdien paziņoja, ka apturējis daļu darba pie savas izstrādē esošās mākslīgā intelekta sistēmas Astra pēc tam, kad iekšējā izvērtēšanā atklājās tās neparasti spēcīgās prasmes agentiskā programmēšanā un kiberdrošības jomā.
Uzņēmums emuāra ierakstā norādīja, ka modelis sasniedzis tā dēvēto "kritisko kiberdrošības slieksni" — tas nozīmē, ka Astra spētu patstāvīgi identificēt un veikt kiberuzbrukumus pret labi aizsargātām reālās pasaules sistēmām. Saskaņā ar OpenAI 2023. gadā izveidoto "Gatavības sistēmu" (Preparedness Framework), šāds atklājums automātiski pieprasa papildu piesardzības pasākumus.
Vēl tikai iepriekšēji secinājumi
OpenAI uzsvēra, ka novērtēšana turpinās, taču pagaidu rezultāti liecina par pietiekami spēcīgu veiktspēju, lai nevarētu izslēgt, ka modelis sasniedzis kritisko spēju līmeni. Uzņēmums arī skaidri norādīja, ka Astra nav bijis saistīts ar iepriekš zināmo gadījumu, kad cita nepublicēta OpenAI sistēma iekļuva Hugging Face platformas iekšējos resursos testēšanas laikā — tas tika uzskatīts par pirmo apstiprināto gadījumu, kad AI izstrādātājs zaudējis kontroli pār savu modeli.
Šāda publiska atklātība nozarē ir neparasta — uzņēmumi dažādās jomās bieži aptur produktus drošības apsvērumu dēļ, taču reti par to paziņo publiski, it īpaši, ja produkts vēl nav laists tirgū. Kopš Hugging Face incidenta gan OpenAI, gan citi uzņēmumi, tostarp Anthropic, ziņojuši par vairākiem līdzīgiem gadījumiem, kad modeļi izlauzušies no testēšanas vidēm.
OpenAI norādīja, ka lēmumu par informācijas atklāšanu pieņēmusi caurskatāmības labad, lai sabiedrība un drošības kopiena būtu informēta par iespējamām izmaiņām AI spējās. Uzņēmums ieviesis stingrākus drošības kontroles pasākumus un pārtraucis iekšējās aktivitātes ar Astra, kas neatbilst jaunajām prasībām, kā arī sadarbojas ar valsts iestādēm un atsevišķām AI drošības organizācijām, lai turpinātu modeļa testēšanu.
