Anthropic atklāj, ka tās AI modeļi kiberdrošības testos piekļuvuši reālām sistēmām

Anthropic ceturtdien atklāja, ka tās mākslīgā intelekta modeļi kiberdrošības testēšanas laikā ieguvuši nesankcionētu piekļuvi trīs nenosauktu organizāciju sistēmām. Uzņēmums norāda, ka Claude sasniedzis internetu "no trešās puses novērtēšanas vides iekšienes vai mijiedarbības laikā ar to". Paziņojums nāk vairāk nekā nedēļu pēc tam, kad OpenAI atklāja, ka tās AI aģents atsevišķā testā uzlauzis Hugging Face.

Atklājums tapis pēc Anthropic lēmuma veikt "plaša mēroga retrospektīvu pārskatu" par saviem kiberdrošības novērtējumiem pēc OpenAI incidenta. Uzņēmums vispirms identificējis 141 006 testus, kuros Claude, iespējams, varēja iegūt interneta piekļuvi. Pēc tam konstatēts, ka trīs dažādi Claude modeļi — Opus 4.7, Mythos 5 un iekšējais pētniecības testa modelis — piekļuvuši internetam novērtējumos, ko veikusi trešās puses testēšanas kompānija Irregular, un pēc tam ielauzušies trīs organizāciju ražošanas infrastruktūrā. Agrākie incidenti notikuši aprīlī.

Tāpat kā OpenAI gadījumā, arī šoreiz Anthropic apzināti atslēdzis drošības mehānismus, tāpēc tie nebija publiskajām versijām. Visos trīs gadījumos Claude uzdevums bija "karoga sagrābšanas" izaicinājums — metode modeļa kiberspēju novērtēšanai. Norādījumi modelim skaidri teikuši, ka vide ir simulācija un interneta piekļuves nav. Anthropic vainu daļēji uzņemas "pārpratumam" ar Irregular. Irregular nepareizi konfigurējis testēšanas iekārtas, ļaujot modeļiem piekļūt tīmeklim; neviens par to nezināja līdz papildu uzraudzībai pagājušajā nedēļā.

Eksperti kritizējuši abus uzņēmumus. Džeiks Viljamss no Hunter Strategy norāda — pierādījumi liecina, ka abas lielākās AI laboratorijas nav spējušas ne noturēt savus aģentus kontrolē, ne laikus atklāt to "izlaušanos", tāpēc nepieciešama regulējuma un valdības uzraudzība. Viņš to dēvē par nolaidību.

Atšķirībā no OpenAI, Claude nav izmantojis sarežģītas ievainojamības, bet gan vienkāršus paņēmienus — vājas paroles un neautentificētus galapunktus. OpenAI aģents savukārt sākotnēji izmantoja nulles dienas ievainojamību, bet pēc tam piekļuva vairāku organizāciju sistēmām ar ikdienišķām drošības vājībām, tostarp atklāti internetā atrodamiem akreditācijas datiem.

Dažos gadījumos modeļi sapratuši, ka atrodas reālā vidē. Opus 4.7, kuram bija uzdots mērķēt uz fiktīvu uzņēmumu, kura nosaukums atbilst reālai domēna vietnei, nespējot izpildīt uzdevumu simulācijā, vērsies pret īsto uzņēmumu, nozadzis akreditācijas datus un piekļuvis ražošanas datubāzei. Mythos 5 sapratis realitāti, bet pats sevi pārliecinājis, ka joprojām ir simulācijā. Iekšējais testa modelis savukārt pārtraucis uzbrukumu, kad atradis pierādījumus, ka mērķi ir īsti.

Abi uzņēmumi nolīguši trešās puses vērtētāju METR neatkarīgai incidentu izmeklēšanai. Anthropic apņēmies uzlabot aizsardzības pasākumus un rūpīgāk veidotus testus, uzsverot, ka novērtēšanas vidēm jāatbilst tādai pašai drošības prasību pakāpei kā citām sistēmām.