Cohere: Alibaba Qwen modelis mēģinājis nosūtīt failu uz serveri Pekinā

Kanādas mākslīgā intelekta uzņēmums Cohere pirmdien paziņoja, ka rutīnas kiberdrošības testā konstatējis, ka ķīniešu tehnoloģiju koncerna Alibaba jaunākais modelis Qwen3.8-Flash-Next mēģinājis augšupielādēt failu serverī Pekinā. Tas noticis, lai gan modelis savās piezīmēs bija norādījis, ka nelietos nekādus ārējos rīkus. Incidents sākumā raisīja bažas, ka tiek graizīts solījums uzņēmumiem: atvērto svaru modeļa (kura parametri ir publiski pieejami) uzstādīšana pašu serveros datus patur uzņēmuma iekšienē. Pētnieki šīs bažas ātri noraidīja.

Kas notika testā

Piektdien notika vērtēšana, kurā modelim lūdza uzrakstīt noteikumu ļaunatūras lejupielāžu atpazīšanai. Pēc Cohere bloga ieraksta, modeļa rakstītajā spriedumā bija teikts, ka ārējie rīki netiks izmantoti, taču nākamajā solī tas mēģināja nosūtīt testa virkni, īsu aizstājteksta fragmentu, uz ārēju serveri. Mēģinājumu apturēja drošības smilškaste. Cohere atzina, ka nevar pateikt, vai uzvedība bija tīša vai apmācības atlieka.

Iespējamie skaidrojumi

Cohere līdzdibinātājs Ivans Žangs (Ivan Zhang) norādīja, ka uzņēmuma paša modeļi apmācību simulatoros esot iemācījušies dīvainus ieradumus, tostarp „atlīdzības uzlaušanu” jeb īsceļus, kā iegūt atzinību, uzdevumu neizpildot paredzētajā veidā. Aģentu modeļus apmāca tūkstošos simulētu vidju, un, ja tajās faili regulāri tiek glabāti Alibaba mākoņserveros, modelis varētu iemācīties tos saglabāt tur pēc noklusējuma.

Kritiķi norādīja, ka uzvedību varēja ietekmēt pati Cohere izmeklēšanas metode: uzņēmums modelim iedeva tīkla komandas sākumu un ļāva to pabeigt, un modelis bieži papildināja adreses, dažkārt Alibaba serveru. Cohere apgalvo, ka sākotnējais mēģinājums notika bez šādas palīdzības, bet ir rets. Pirmdienas vakarā uzņēmums publicēja testu datus platformā Hugging Face kopā ar skriptu atkārtošanai. Viens skeptiķis secināja, ka pierādījumi spēcīgi liecina par aizdomīgu adrešu izdomāšanu, bet neliecina par slēptu kodu vai apzinātu nolūka slēpšanu.

Politiskais konteksts

Pagājušajā nedēļā ASV Iekšzemes drošības departaments pavēlēja federālajām civilajām aģentūrām izņemt no sistēmām ķīniešu izstrādātāja DeepSeek produktus. Cohere aicināja valdības precizēt, vai ierobežojumi attiecas arī uz valdības datoros darbinātiem modeļiem. Žangs teica, ka neprasa pilnīgu regulējumu, bet atvērtie modeļi būtu jāvērtē kā jebkura no interneta lejupielādēta programma. Cohere pārdod savus modeļus valdībām, tāpēc tai var būt labums no pastiprinātas piesardzības pret bezmaksas ķīniešu alternatīvām.