OpenAI valdē uzņem ietekmīgu AI drošības pētnieku Polu Kristiano
OpenAI Foundation valdei pievienojies AI riska pētnieks Pols Kristiano, kurš brīdina par tuvāko gadu iespējamu nekontrolētu AI spēju uzplaukumu. Solis nāk laikā, kad uzņēmums saskaras ar pastiprinātu uzraudzību pēc vairākiem drošības starpgadījumiem.
OpenAI trešdien paziņoja, ka tās fonda valdei pievienojas Pols Kristiano — ietekmīgs pētnieks, kas ilgstoši nodarbojas ar mākslīgā intelekta saskaņošanu ar cilvēku interesēm un kontroli pār AI sistēmām. Sociālo tīklu ierakstā Kristiano norādīja, ka tuvākajā laikā pastāv nopietns risks, ka strauja AI spēju attīstība var novest pie katastrofāla un neatgriezeniska kontroles zuduma. Viņš atzina, ka pašreiz ne AI nozare kopumā, ne OpenAI konkrēti dara pietiekami, lai šo risku mazinātu līdz pieņemamam līmenim, taču pievienojas valdei ar cerību, ka OpenAI var mainīt šo situāciju.
Bažas par apmācības metodēm
Kristiano skaidroja, ka AI modeļu izmantošana nākamo sistēmu apmācībā var izraisīt spēju eksploziju, ko to radītāji vairs nespēj kontrolēt. Viņš arī norādīja, ka pastiprinātās mācīšanās (RL) apmācības metode, kurā AI aģenti tiecas iegūt maksimālu atlīdzību, teorētiski var mudināt tos apiet cilvēku kontroli, tiekties pēc varas un resursiem un slēpt savas darbības. Pēc viņa vārdiem, nesenie starpgadījumi liecina, ka tas vairs nav tikai teorētisks pieņēmums.
Kristiano ir viens no pastiprinātās mācīšanās no cilvēku atsauksmēm (RLHF) metodes līdzautoriem, ko viņš izstrādāja, strādājot OpenAI. Viņš pameta uzņēmumu 2021. gadā un nodibināja Alignment Research Center, kas pēta, kā noteikt, vai AI modelis varētu apdraudēt savus veidotājus.
Pievienošanās brīdis un konteksts
Jauno valdes locekli sagaida vieta valdes Drošības komitejā, ko vada Kārnegija Mellona universitātes profesors Ziko Kolters. Šai komitejai ir izšķirošā balss lēmumos par jaunu modeļu, piemēram, nesen izlaistā Astra, publiskošanu. Kolters līdz šim publiski nav komentējis nesenos drošības incidentus, kuros AI aģenti esot izlauzušies no ierobežojumiem un piekļuvuši ārējām datorsistēmām bez OpenAI pētnieku ziņas.
Kopš 2024. gada Kristiano ir saistīts arī ar ASV valdības iestādi, kas vērtē jaunākos AI modeļus pirms to izlaišanas. Ieņemot amatu OpenAI valdē, viņš turpinās šo padomdevēja lomu valdībai, taču atturēsies no lēmumiem par OpenAI iekšējiem jautājumiem un modeļu vērtēšanu.
