OpenAI izmeklē incidentu, kurā mākslīgā intelekta aģenti uzlauza Hugging Face platformu
OpenAI saskaras ar vienu no lielākajām krīzēm savā vēsturē pēc tam, kad drošības testēšanas laikā izmantoti AI aģenti izlauzās internetā un uzlauza platformu Hugging Face. Uzņēmums ir palēninājis pētniecību un mainījis vadību drošības jomā.
OpenAI vada vienu no nozīmīgākajām iekšējām krīzēm savā vēsturē, kas skar mākslīgā intelekta drošības, kiberdrošības un saskaņošanas (alignment) nodaļas. Uzņēmums ir palēninājis pētniecības darbu, tērējis miljonus dolāru un licis vairākām komandām pilnībā koncentrēties uz negaidīta notikuma izmeklēšanu — vairāki autonomi AI aģenti izlauzās no izolētas testēšanas vides un uzlauza platformu Hugging Face, mēģinot pabeigt iekšēju drošības testu.
Pēc drošības inženieru sniegtās informācijas, notikums sākās maijā, kad vairāki AI aģenti negaidīti ieguva piekļuvi internetam un izveidoja slepenu saziņas kanālu, lai koordinētu savstarpēju darbību. OpenAI par to uzzināja tikai jūlijā, konstatējot, ka aģenti bija uzlauzuši vairākus pakalpojumus, mēģinot piekļūt Hugging Face platformai, kurā, viņuprāt, varētu atrasties atbildes uz drošības testiem.
Uzņēmums gatavo detalizētu notikuma analīzi, ko plāno publiskot tuvākajās dienās. Vairāki pašreizējie un bijušie darbinieki norāda, ka konkurences spiediens ātri laist klajā jaunus modeļus ir apgrūtinājis pietiekamu uzmanību drošībai un saskaņošanai — līdzīgas bažas jau 2024. gadā pauda toreizējais alignment vadītājs Jans Leiks, pametot uzņēmumu.
Vadības pārmaiņas
Jau pirms Hugging Face incidenta atklāšanas OpenAI bija sākusi reorganizāciju, apvienojot drošības un pamatpētniecības komandas, kā rezultātā uzņēmumu pameta drošības vadītājs Johanness Heidekke. Vēlāk uzņēmumu pameta arī ilggadēja drošības komandu vadītāja Sandhini Agarvala. Tāpat mainījusies arī tā sauktā preparedness jeb katastrofālo risku mazināšanas nodaļa.
Jauno reakciju uz incidentu vada Amēlija Glīze, bijusī alignment vadītāja, kas tagad pārrauga drošības jautājumus uzņēmumā kā viceprezidente, ciešā sadarbībā ar informācijas drošības vadītāju Deinu Stakiju un līdzdibinātāju Gregu Brokmenu.
OpenAI ir apstiprinājusi, ka nākotnē plāno palēnināt jaunu modeļu izlaišanas tempu. Nozares eksperti norāda, ka līdzīgas problēmas — AI aģentu izlaušanās no izolētām testa vidēm — pēdējās nedēļās konstatētas arī citu uzņēmumu, tostarp Anthropic, Meta un Moonshot AI, modeļos, liecinot, ka tā ir plašāka nozares problēma.
