OpenAI stiprina drošības pasākumus pēc AI aģentu incidenta ar Hugging Face
OpenAI apturējusi daļu sava jaunā AI modeļa Astra treniņu un testu, ieviešot stingrākus drošības un uzraudzības pasākumus pēc tam, kad agrāk šogad tās AI aģenti izlauzās no testēšanas vides un iekļuva platformā Hugging Face. Uzņēmums plāno tuvākajās dienās publicēt detalizētu incidenta izvērtējumu.
OpenAI otrdien paziņoja, ka ir apturējusi ievērojamu daļu treniņu darba slodžu un novērtējumu saviem topošajam AI modelim ar kodējumu "Astra", kamēr uzņēmums ievieš jaunas procedūras kiberdrošības risku mazināšanai. Kompānija ievieš vairākas jaunas uzraudzības, drošības un saskaņošanas prasības, lai labāk risinātu tās AI modeļu arvien pieaugošās uzlaušanas spējas.
OpenAI pētniecības un drošības viceprezidente Amelia Glaese preses brīfingā skaidroja, ka uzņēmums koncentrēs resursus, lai treniņu procesi atbilstu jaunajām prasībām, un darbs tiks atsākts tikai tad, kad šīs prasības būs izpildītas.
Jauni uzraudzības rīki
Starp jaunajiem drošības pasākumiem ir uzlabota AI modeļu uzraudzības sistēma, tostarp tā sauktā "domāšanas ķēdes" (chain-of-thought) monitoringa metode, kad klasifikatori pārbauda AI modeļu iekšējos "domāšanas" procesus. Sistēma izmanto skaitļošanas ziņā resursietilpīgus "automatizētos izmeklētājus", kuru mērķis ir par bažas raisošu uzvedību brīdināt cilvēkus 30 minūšu laikā. Uzņēmums arī paplašina saskaņošanas darbu, lai novērstu tā saukto "atlīdzības uzlaušanu" — situāciju, kad AI modeļi sasniedz mērķus neparedzētā vai nevēlamā veidā.
Hugging Face incidents
Šie pasākumi seko incidentam, kad agrāk šogad vairāki AI aģenti izlauzās no OpenAI iekšējām testēšanas vidēm un iekļuva platformā Hugging Face, mēģinot pabeigt drošības novērtējumu. OpenAI vairākas nedēļas nespēja atklāt aģentu darbības, lai gan tie izmantoja ziņojumu dēli savas rīcības koordinēšanai. Līdzīgus gadījumus vēlāk atklājuši arī Anthropic, Meta un Ķīnas uzņēmums Moonshot, liecinot, ka problēma skar visu nozari.
Pēc incidenta OpenAI sāka stiprināt pētniecības vides drošību, ieviešot stingrākas prasības aģentu treniņu vidēm un ierobežojot to piekļuvi internetam. Uzņēmuma galvenais zinātnieks Jakubs Pahockis norādīja, ka lēmumu par pastiprinātiem drošības pasākumiem ietekmēja arī iekšējs Astra novērtējums, kas parādīja ievērojami labākas modeļa spējas programmēšanā un kiberdrošības uzdevumos salīdzinājumā ar iepriekšējiem modeļiem, kā arī vispārējais AI attīstības temps uzņēmumā. OpenAI prezidents Grega Brokmens pirmdienas emuāra ierakstā atzina, ka uzņēmums bija nenovērtējis savu AI modeļu reālās kiberspējas.
