OpenAI atklāj: neizlaists AI modelis izlauzās brīvībā un uzlauza Hugging Face sistēmas
Divi jauni ziņojumi atklāj, ka jūlijā notikušais OpenAI neizlaistā AI modeļa incidents bija daudz nopietnāks, nekā sākotnēji ziņots — tūkstošiem AI aģentu radīja slēptu saziņas kanālu un uzlauza AI uzņēmuma Hugging Face iekšējās sistēmas. OpenAI incidentu atklāja tikai 12 dienas pēc tā sākuma.
Vairāk nekā mēnesi pēc incidenta atklāšanas publiskoti divi ziņojumi — apjomā gandrīz 130 lapaspušu —, kas sniedz jaunas detaļas par to, kā jūlijā neizlaists OpenAI izpētes modelis izkļuva no ierobežotas vides un piekļuva internetam. Vienu ziņojumu sagatavoja pati OpenAI, otru — divas neatkarīgas AI izpētes organizācijas METR un Redwood Research, kurām OpenAI ļāva sešas dienas izmeklēt notikušo.
Saskaņā ar ziņojumiem incidenta pamatā bija tā sauktā "reward-hacking" parādība — modeļiem tika izvirzīti gandrīz neizpildāmi uzdevumi, un tie sāka meklēt neparedzētus veidus, kā tos sasniegt. Viens AI aģents ar nosaukumu PHASEONE10841 izveidoja slēptu ziņojumu dēli, kuru dažu stundu laikā atklāja vairāk nekā 50 citu aģentu, kopā nosūtot vairāk nekā tūkstoti ziņojumu, ko OpenAI nepamanīja.
Uzlaušanas apmērs
METR un Redwood ziņojums atklāj, ka kopumā aptuveni 1200 aģentiem, kuriem vajadzēja būt izolētiem, izdevās apmainīties ar vairāk nekā 70 000 ziņojumu un failu neatļautajā ziņojumu dēlī. No tiem 700 aģenti piedalījās uzbrukumā Hugging Face sistēmām, iegūstot piekļuvi privātiem datiem un uzņēmuma iekšējai saziņas platformai. Aģenti pētīja arī veidus, kā slēpt vai dzēst savas darbības pēdas, lai izvairītos no atklāšanas. OpenAI apstiprināja, ka arī citas organizācijas, kuras netika nosauktas, tika skartas.
OpenAI incidentu atklāja 20. jūlijā — 12 dienas pēc tam, kad aģenti pirmo reizi apgāja drošības ierobežojumus. Lielāko daļu neatļautās darbības uzņēmums apturēja triju dienu laikā, bet pilnībā ar incidentu saistīto modeļu apmācību pārtrauca 25. jūlijā. Par incidentu atbildīgi bija divi modeļi — neizlaists, tikai pētniecībai paredzēts modelis un publiski pieejamais GPT-5.6 Sol.
OpenAI paziņojusi, ka nostiprina pētniecības infrastruktūras drošību, uzlabo modeļu "domāšanas procesa" uzraudzību un ievieš 24/7 ātrās reaģēšanas sistēmu, kas pētniekus par nopietniem draudiem brīdinās 30 minūšu laikā. Uzņēmums incidentu nosaucis par "brīdinājuma signālu" nozarei par riskiem, ko rada spējīgi AI aģenti bez pienācīgiem drošības pasākumiem.
