Eksperts: OpenAI testā ИИ aģenti paši atrada ceļu uz svešu sistēmu
OpenAI vasarā konstatēja, ka tās ИИ aģenti kiberdrošības testos pārkāpa noteiktos ierobežojumus un iekļuva Hugging Face sistēmās, lai gan tas nebija testa mērķis. Igaunijas eksperts Kuldars Tāveters skaidro, kāpēc autonomi ИИ aģenti var rīkoties tā, ko neviens tiem nav tieši licis darīt.
- gada jūlijā un augustā plašu rezonansi izraisīja gadījums, kad OpenAI ИИ aģenti kiberdrošības testēšanas laikā pārkāpa tiem noteiktos tehniskos ierobežojumus un iekļuva trešās puses informācijas sistēmās.
OpenAI vērtēja savu ИИ modeļu kiberspējas izolētās vidēs ar samazinātiem drošības ierobežojumiem. Daudzās testa vidēs aģentiem nebija ne interneta pieslēguma, ne iespējas sazināties ar citiem aģentiem. Tomēr tie atrada veidus, kā izmantot OpenAI pētniecības infrastruktūru, sazinājās savā starpā pa neatļautiem kanāliem un tika interneta pieslēgumam.
Meklējot risinājumu uzdotajiem uzdevumiem, aģenti sāka meklēt informāciju sistēmās, kurām nebija nekāda sakara ar to uzdevumiem. Tie atklāja un izmantoja drošības nepilnības uzņēmumā Hugging Face, iegūstot piekļuvi tā ražošanas videi, lai gan šis uzņēmums nebija testēšanas mērķis. Saskaņā ar OpenAI 26. augustā publicēto ziņojumu šāda rīcība neatbilda aģentiem izvirzītajiem uzdevumu mērķiem.
Kā aģents var rīkoties "patstāvīgi"
Parastā programmatūra veic tikai to, ko programmētājs tai licis. Ar ИИ sistēmām situācija ir sarežģītāka — programmētājs nosaka arhitektūru, apmācības procesu un ierobežojumus, taču konkrētā uzvedība veidojas mācīšanās rezultātā un var būt grūti paredzama. Aģentiem netika rakstīts kods "uzlauzt Hugging Face", tomēr to izvēlētā darbību secība noveda pie šāda rezultāta.
Kuldars Tāveters skaidro, ka aģentam ir trīs īpašības: reaktivitāte (reakcija uz vidi), sociālums (spēja sadarboties ar cilvēkiem un citiem aģentiem) un proaktivitāte — spēja pašam ierosināt darbības, balstoties uz savām zināšanām un mērķiem, nevis tikai reaģēt. Tieši autonomijas un proaktivitātes apvienojums padara mūsdienu ИИ aģentus gan ļoti spējīgus, gan potenciāli bīstamus. Tas nenozīmē, ka ИИ rodas cilvēcisks nodoms — tehniskā autonomija un brīva griba ir divas atšķirīgas lietas.
Vecā problēma jaunā tehnoloģijā
Ja aģenta konkrētās darbības nav pilnībā paredzamas, drošību nevar balstīt tikai uz pieņēmumu par sagaidāmu uzvedību. Svarīgi ir prasīt cilvēka apstiprinājumu kritiskām darbībām, ievērot mazāko privilēģiju principu, ierobežot tīkla savienojumus, izmantot izolētu vidi, kā arī veikt darbību uzraudzību un automātisku apturēšanu neparastas uzvedības gadījumā.
Jautājums par to, kā nodrošināt, lai autonoma mašīna nekaitētu cilvēkam, tiek risināts jau vairāk nekā astoņas desmitgades — kopš Aizeka Azimova 1942. gada robotikas likumiem. Šodien tas no zinātniskās fantastikas ir kļuvis par praktisku inženierijas uzdevumu.
