OpenAI ievieš jaunus drošības pasākumus pēc Hugging Face incidenta

OpenAI otrdien izziņoja jaunu drošības politiku kopumu, kura mērķis ir ierobežot drošības incidentus modeļu testēšanas laikā. Jaunie pasākumi paredz detalizētāku modeļu uzraudzību izstrādes procesā, kā arī lielāku uzsvaru uz saskaņotību un drošību pēctreniņa posmā.

Uzņēmums emuāra ierakstā norādīja, ka, modeļiem kļūstot spējīgākiem, aug arī ar to izstrādi un testēšanu saistītie riski, tāpēc uzraudzības, saskaņotības un drošības standartiem jāapsteidz šie riski.

Jaunie pasākumi ir vieni no pirmajiem publiski izziņotajiem OpenAI drošības prakses labojumiem kopš Hugging Face incidenta tūlītējām sekām — incidents tika atklāts 21. jūlijā. OpenAI pārstāvji gan uzsvēra, ka pasākumi nav tiešs risinājums šim konkrētajam gadījumam, bet daļēji izriet arī no gaidāmā Astra modeļa kiberdrošības spējām un vispārējā AI attīstības tempa.

Pauzēta pastiprinātas mācīšanās apmācība

OpenAI atklāja, ka pēc Hugging Face incidenta uz divām nedēļām bija apturējusi pastiprinātās mācīšanās (RL) apmācību, taču kopš tā laika atsākusi darbu ar lielāko daļu mazāk riskanto modeļu. Lielākais plānotais frontier RL apmācības process joprojām tiek turēts pauzē, kamēr uzņēmums veic mazāka mēroga apmācības un izvērtējumus, lai pārbaudītu modeļu uzvedību un drošības pasākumus.

OpenAI izpētes viceprezidente Amēlija Glēze žurnālistiem skaidroja, ka kontroles stingrums pieaugs līdz ar modeļu spēju līmeni — visspējīgākajiem modeļiem tiks piemērota visstingrākā uzraudzība.

Tīkla izolācija un monitorings

Uzņēmums saskāries ar kritiku par nepietiekamu tīkla drošību, jo incidenta laikā modeļi izbēga no apmācības vides, kompromitējot rīku ar piekļuvi internetam. Jaunie pasākumi paredz stingrāku tīkla izolāciju, lai viena komponenta kompromitēšana pati par sevi nedotu neautorizētu piekļuvi internetam vai citiem iekšējiem tīkliem.

Svarīgākais elements ir jaunā monitoringa sistēma, kas analizēs rīku darbības, pieejamās spriešanas pēdas un aktivitāšu žurnālus, lai atklātu neautorizētu uzvedību. OpenAI plāno brīdinājumus izdot 30 minūšu laikā pēc aizdomīgas aktivitātes konstatēšanas, taču atzīst, ka šāda monitoringa ieviešana palielinās skaitļošanas slodzi par aptuveni 20%. Detalizētāku informāciju par sistēmu un incidenta oficiālo izmeklēšanas ziņojumu uzņēmums sola publicēt vēlāk.