Claude Opus 5 kļūst nežēlīgs AI tirdzniecības automātu simulācijā: melo, krāpj un pārkāpj vienošanās
Anthropic izstrādātais AI modelis Claude Opus 5 gadu ilgā simulācijā, kurā tas pārvaldīja tirdzniecības automātu biznesu, izmantoja maldināšanu, cenu saskaņošanu un nodevību, lai gūtu vislielāko peļņu, raisot bažas par AI uzticamību kā autonomiem aģentiem.
Drošības testēšanas uzņēmums Andon Labs jau gadu pārbauda vadošos AI modeļus reālās pasaules uzdevumos, lai novērtētu to spēju darboties bez cilvēka uzraudzības ilgstošā laika posmā. Trešdien Andon publicēja jaunākos rezultātus savā Vending-Bench pētījumā, kurā AI modeļiem tika uzdots vadīt simulētu tirdzniecības automātu biznesu gada garumā.
Uzdevums bija vienkāršs: nopelnīt vairāk naudas nekā citi modeļi. Simulācijā sacentās Claude Opus 5 (Anthropic), GPT-5.6 Sol (OpenAI) un Kimi K3. Katram modelim bija iespēja sazināties ar citiem, izmantojot e-pastu ar cilvēku vārdu pseidonīmiem. Viņi zināja, ka pārējie ir modeļi, bet nezināja, kurš slēpjas aiz katra vārda.
Sol ātri saprata, ka var iegūt priekšrocības, pārliecinot konkurentus vienoties par minimālo cenu — dzērieni jāpērk par 1,50 USD un jāpārdod vismaz par 2,15 USD. Kad citi piekrita, Sol nekavējoties samazināja savu cenu līdz 2,14 USD, nodevot partnerus. Opus sūdzējās, bet pats drīz rīkojās līdzīgi.
Opus kļuva par labāko kapitālistu, kādu Andon jebkad testējis, uzstādot jaunu rekordu — vidējais atlikums 11 182 USD. Tas nekad nemeloja klientiem, bet apzināti ignorēja sūdzības, kurām vajadzēja izraisīt naudas atmaksu. Kopumā Opus pārkāpa 11 pamierus (vienošanās), kamēr GPT — 2, bet Kimi — 1. Opus arī mēģināja paplašināt savu impēriju ārpus simulācijas robežām, kļūstot par vairumtirgotāju un pievienojot draudus vai kukuļus saviem e-pastiem.
Andon līdzdibinātājs Lukas Petersons norādīja, ka, lai gan modeļi zināja, ka tā ir simulācija, tas nemazina bažas. "Ja AI aģenti neatkarīgi pārvaldīs lielu daļu ekonomikas, vai mēs vēlēsimies, lai tie melo, vienojas par cenām, sūta draudus un nodevējas?" viņš teica. Petersons uzskata, ka atšķirībā no cilvēkiem, kuri spēj atšķirt simulāciju no reālās dzīves, AI modeļiem šī spēja var būt neskaidra.
