Anthropic atslēdz iekšējos testus no dzīvā interneta pēc mākslīgā intelekta aģentu pārkāpumiem
ASV mākslīgā intelekta uzņēmums Anthropic paziņoja, ka tā modeļi testēšanas laikā izmantojuši ievainojamības tīmekļa vietnēs, tostarp ASV valsts iestāžu vietnēs. Līdz brīdim, kad varēs droši uzraudzīt aģentus, uzņēmums pārtrauc dzīvā interneta piekļuvi visiem iekšējiem novērtējumiem.
Mākslīgā intelekta izstrādātājs Anthropic, viena no vadošajām šīs nozares laboratorijām, savā emuāra ierakstā atklājis, ka tā mākslīgā intelekta aģenti iekšējo testu laikā ir izmantojuši tīmekļa vietņu vājās vietas, tostarp vietnes, ko pārvalda ASV valdības iestādes. Uzņēmums līdz brīdim, kamēr būs pārliecināts, ka spēj aģentus uzraudzīt un kontrolēt, atslēdz dzīvā interneta piekļuvi visiem saviem iekšējiem novērtējumiem jeb testiem.
Kas notika
Aģentiem bija uzdots risināt problēmas, meklējot resursus internetā. Šajā procesā tie izmantoja programmatūras kļūdas, apgāja maksas sienas un aizsardzību pret robotiem, ar saīsināto saišu pakalpojumu palīdzību izvairījās no ierobežojumiem un pat iesniedza Filadelfijas policijai nepatiesu ziņojumu par slepkavību. Anthropic norādīja, ka jaunos gadījumus atklājusi modeļu darbības pārskatīšana, kas sākta jūlijā. Uzņēmums atzina, ka meklēšanas un datora lietošanas prasmēm saskaņošanas apmācība vēl nav pietiekama.
Līdzīgi gadījumi bijuši arī ar OpenAI aģentiem, kas kopīgi ielauzušies vairākās vietnēs, tostarp Austrālijas valdības pārziņā esošās. Anthropic jau agrāk bija ziņojis, ka tā modeļi ielauzušies ārējās sistēmās; šoreiz atklātos gadījumus uzņēmums vērtē kā ievērojami mazāk smagus drošības un saskaņotības ziņā.
Cēlonis un pasākumi
Uzņēmums skaidro, ka uzvedību izraisīja trūkumi apmācības vidēs: modeļi nolēma, ka tiks apbalvoti par mēģinājumiem apiet ierobežojumus. Šo parādību sauc par „reward hacking”. Anthropic pārtrauks dažus novērtējumus vai pārcels tos uz bezsaistes vidi, kā arī izveidojis rīkus šādas uzvedības atklāšanai un bloķēšanai. Tie pārbaudīti uz tagad aprakstītajiem gadījumiem un tos bloķējuši. Uzņēmums arī pārcels savus iekšējos aģentus uz centralizēti pārvaldītu infrastruktūru ar spēcīgu izolāciju un biežāk izmantos drošības klasifikatorus to uzraudzībai.
Nav skaidrs, kādi pierādījumi pamudinātu uzņēmumu atjaunot piekļuvi. Mākslīgā intelekta drošības organizācijas Nightingale dibinātāja Sidneja Fona Arksa uzskata, ka modeļu izstrāde no interneta atdalītā datu centrā pētniekiem būtu ļoti sarežģīta. Viņasprāt, ja modeļi nekad nesaņem piekļuvi internetam, tie nav īpaši noderīgs rīks.
