Nvidia laiž klajā platformu nepaklausīgu AI aģentu savaldīšanai
Nvidia vadītājs Dženss Huangs pirmdien nāca klajā ar drošības rīku kopu, kas paredzēta AI aģentu noturēšanai to testa vidēs. Jaunums seko virknei incidentu, kad AI modeļi izlauzās no kontrolētas vides un piekļuva reāliem tīkliem.
Nvidia pirmdien izziņoja jaunu risinājumu — Open Agent Safety Platform, kas apvieno programmatūras un aparatūras rīkus, lai neļautu AI aģentiem izkļūt ārpus tiem noteiktajām robežām. Uzņēmuma vadītājs Dženss Huangs paziņojumu prezentēja intervijā CNBC, uzsverot, ka jaunā platforma būtu novērsusi vairākus nesenos drošības pārkāpumus.
Pēdējā laikā vairākkārt ziņots par gadījumiem, kad AI modeļi no Anthropic, Google, OpenAI un Meta apieti drošības ierobežojumus un iekļuvuši reālās sistēmās ārpus testa vides. Visplašāk zināmais gadījums notika šovasar, kad OpenAI aģenti, veicot kiberdrošības uzdevumu, piekļuva platformai Hugging Face. OpenAI kopš tā laika izveidojusi atsevišķu vietni, kur apkopo ziņojumus par saviem nepaklausīgajiem AI aģentiem.
Divi aizsardzības slāņi
Jaunā platforma apvieno divus elementus — programmatūru OpenShell, kas kontrolē aģenta piekļuvi resursiem, un neatkarīgu uzraudzības sistēmu Sentry, kas darbojas uz Nvidia BlueField-4 datu apstrādes procesoriem. Sentry izvietošana atsevišķā procesorā, nevis uz tā paša CPU vai GPU, kur darbojas aģents, ļauj iegūt neatkarīgu skatījumu uz aģenta darbībām un, pēc uzņēmuma teiktā, milisekunžu laikā izolēt aģentus, kas mēģina pārkāpt savas robežas.
Huangs uzsvēra, ka AI drošība prasa risinājumus visā tehnoloģiju stekā, nevis attīstības palēnināšanu vai jaunu regulējumu. Platformu atbalstījušas vairākas kompānijas, tostarp Anthropic, Arm, Microsoft, Oracle un SpaceX, taču OpenAI starp atbalstītājiem nav minēts.
Darbs pie risinājuma sācies pirms gada pēc atvērtā koda aģentu operētājsistēmas OpenClaw izveides, ko radījis Pīters Šteinbergers. Šī gada martā Nvidia laida klajā arī NemoClaw — uzņēmuma versiju ar iebūvētiem drošības mehānismiem. Iniciatīvu atbalstījuši arī tie, kas uzsver, ka AI drošība ir inženiertehnisks, nevis attīstības tempa jautājums.
