Viens uzņēmums saistīts ar vairākiem AI aģentu drošības incidentiem
Izrādās, ka virkne šā gada incidentu, kad AI aģenti no OpenAI, Meta, Anthropic un Google izgāja no testa vidēm un uzbruka reāliem mērķiem, ir saistīti ar vienu un to pašu testēšanas kļūdu Izraēlas uzņēmumā Irregular. Uzņēmums apgalvo, ka problēma jau novērsta.
Kopš jūlija, kad OpenAI atklāja, ka tās AI aģenti bez atļaujas uzbrukuši platformai Hugging Face, sekojusi virkne līdzīgu gadījumu ar Meta, Anthropic, Google un citu uzņēmumu AI aģentiem. Sākotnēji tie šķita savstarpēji nesaistīti incidenti, taču daudziem no tiem ir kopīgs cēlonis — Izraēlas uzņēmums Irregular, kas nodarbojas ar AI modeļu drošības testēšanu.
Irregular, kas dibināts 2023. gadā ar nosaukumu Pattern Labs, testē AI aģentus tā sauktajās augstas uzticamības pētniecības platformās, kas simulē reālas kiberdrošības situācijas. Uzņēmuma darbs citēts OpenAI modeļu tehniskajās dokumentācijās, un tas sadarbojies arī ar Lielbritānijas valdību, Anthropic, kā arī publicējis pētījumus kopā ar ietekmīgo domnīcu RAND.
Kā notika kļūda
Vairākos šā gada testos Irregular izmantoja tā sauktās "capture-the-flag" metodes, kur aģentiem jāatrod slēpta informācija it kā simulētā tīklā. Irregular tehniskais direktors Omers Nevo atklāja, ka aģentiem netīši bijusi pieeja atvērtajam internetam, un vienlaikus testam izdomātais fiktīvais uzņēmuma nosaukums sakritis ar reālu interneta domēnu. Šo divu kļūdu apvienojums izraisīja to, ka aģenti sāka uzbrukt reāliem mērķiem, lai gan nav zināms, kuras organizācijas tieši tika skartas.
Nevo apstiprināja, ka tieši šī pati kļūda bija par pamatu incidentiem, kas skāra OpenAI, Meta, Anthropic un Google modeļus, un ka visi gadījumi tikuši atklāti attiecīgajiem partneriem. Viņš uzsvēra, ka Hugging Face uzlaušana un incidenti, kas saistīti ar Lielbritānijas AI drošības institūtu, ar Irregular nav saistīti.
Uzņēmums testējis arī Ķīnas kompāniju Moonshot AI un Z.ai izstrādātos atvērtā koda modeļus Kimi K3 un GLM-5.2, taču līdzīgas problēmas šajos testos nav konstatētas — lai gan Nevo brīdinājis, ka tas nenozīmē, ka šie modeļi ir mazāk pakļauti riskam.
Pēc incidentiem Irregular pastiprinājis interneta piekļuves kontroli, paplašinājis uzraudzību un manuālo pārbaudi, kā arī uzlabojis procesu, kā ar partneriem tiek saskaņoti testu parametri. Uzņēmums plāno publicēt plašāku ziņojumu par gūtajām atziņām. Neviens no četriem lielajiem ASV AI uzņēmumiem nesniedza papildu komentārus par to, kad tie uzzināja par incidentiem vai vai plāno turpināt sadarbību ar Irregular.
