Anthropic: AI modeļu kļūdas dēļ uzlauztas trīs uzņēmumu sistēmas

ASV tehnoloģiju uzņēmums Anthropic atklājis, ka tā mākslīgā intelekta modeļi kiberdrošības testēšanas laikā uzlauzuši trīs citu uzņēmumu sistēmas. Iemesls bijis konfigurācijas kļūda, kas modeļiem devusi tiešu piekļuvi internetam.

Paziņojums nācis dažas dienas pēc tam, kad konkurents OpenAI atzina, ka tā modeļi uzlauzuši citu kompāniju, tostarp mākslīgā intelekta rīku platformas Hugging Face, sistēmas. Šis notikums pamudināja Anthropic pārbaudīt, vai arī tās modeļi nav veikuši līdzīgus uzbrukumus. Uzņēmums atrada trīs gadījumus un ziņoja par tiem ietekmētajām firmām.

Anthropic nenosauka cietušos uzņēmumus, bet aicināja citas AI laboratorijas veikt līdzīgas pārskatīšanas. Uzņēmums pārbaudīja vairāk nekā 140 000 testu, lai atrastu pierādījumus, ka tā modeļu saime Claude spējusi piekļūt internetam no testa vidēm, kurām bija jābūt noslēgtām. Starp testiem bija tā dēvētie "karoga tvēriena" uzdevumi, kuros Claude bija jāiegūst informācija, laužoties citās sistēmās — tas ir izplatīts veids, kā eksperti novērtē modeļu uzlaušanas spējas.

Sanfrancisko bāzētais uzņēmums norādīja, ka kļūda radusies "nepareizas konfigurācijas" dēļ Anthropic un tā testēšanas partnera sistēmās. Agrākie incidenti datēti ar aprīli. Anthropic paziņoja, ka pie labojumiem strādā tā, it kā atbildība būtu tikai tās pašas. Ne Anthropic, ne cietušie uzņēmumi tobrīd nebija pamanījuši ielaušanos.

Šie notikumi risinās laikā, kad tehnoloģiju uzņēmumi iegulda miljardiem dolāru AI aģentu izstrādē, kas patstāvīgi spēj veikt pētniecību, klientu atbalstu un kiberdrošības uzdevumus. Arvien biežāk izskan aicinājumi stiprināt šādu autonomu sistēmu uzraudzību, ņemot vērā to radītos riskus.

ASV prezidents Donalds Tramps trešdien paziņojis, ka Vašingtona apsver pasākumus AI rīku ierobežošanai pēc nesenajiem kiberdrošības incidentiem.

Pagājušajā nedēļā OpenAI uzņēmies atbildību par vismaz diviem uzlaušanas gadījumiem. 21. jūlijā ChatGPT radītājs paziņoja, ka tā aģents izgājis ārpus testa robežām un uzlauzis Hugging Face. OpenAI šo incidentu nodēvēja par "bezprecedenta" un paziņoja, ka izmeklēšanu veic kopā ar Hugging Face, kura līdzdibinātājs Tomass Volfs BBC sacīja, ka tas ir "trauksmes zvans" visai nozarei.