Jauns uzņēmums testē AI drošību pret psiholoģisku kaitējumu lietotājiem
Startups Circuit Breaker Labs izstrādājis sistēmu, kas ar simulētu lietotāju palīdzību pārbauda AI modeļu spēju atpazīt psiholoģiski bīstamas sarunas. Uzņēmums piedalīsies TechCrunch Disrupt pasākumā Sanfrancisko.
Uzņēmums Circuit Breaker Labs, kas ir viens no TechCrunch 2026. gada Startup Battlefield 200 finālistiem, izstrādā rīkus, kas palīdz padarīt mākslīgā intelekta sistēmas drošākas lietotājiem, īpaši bērniem un pusaudžiem. Uzņēmums oktobrī piedalīsies konferencē TechCrunch Disrupt Sanfrancisko.
Ir bijuši vairāki gadījumi, kad saskarsme ar AI tērzēšanas robotiem saistīta ar lietotāju psiholoģisku kaitējumu, tostarp pašnāvībām. Character.AI šogad noslēdza vairākas izlīguma vienošanās lietās, ko cēla ģimenes, kuru nepilngadīgie bērni izdarījuši pašnāvību pēc saskarsmes ar uzņēmuma robotiem. Arī vairākas ģimenes iesūdzējušas OpenAI par ChatGPT lomu tuvinieku pašnāvībās un murgos.
Circuit Breaker Labs dibinātāji, māsa un brālis Širali un Aruls Nigami, par pamudinājumu uzsākt darbu minējuši 14 gadus vecā Sevela Setzera nāvi — pusaudzis bija izveidojis emocionālu pieķeršanos Character.ai robotam un tam uzticējis domas par pašnāvību, ko vecāki 2024. gada prasībā apgalvoja, ka bots ir mudinājis īstenot.
Kā darbojas testēšana
Uzņēmums izveidojis AI aģentus, kas imitē dažāda vecuma, fona, valodas un kultūras lietotājus, lai pārbaudītu, vai modeļi spēj atpazīt bīstamu un psiholoģiski kaitīgu mijiedarbību. Testi veidoti kopā ar nozares ekspertiem, iekļaujot reālus runas paraugus, slengu, kodētu valodu un drukas kļūdas, jo modeļiem bieži grūtības sagādā neformāla vai netipiska valoda.
Circuit Breaker Labs dienā veic desmitiem tūkstošu līdz simtiem tūkstošu simulētu saruņu un izmanto pašu izstrādātu vērtēšanas sistēmu, lai radītu pārbaudāmus rezultātus. Pašlaik uzņēmums strādā ar augsta riska lietotnēm, piemēram, AI koučinga, dienasgrāmatu vai garīgās veselības atbalsta rīkiem, taču klientu nosaukumus neatklāj. Uzņēmumā strādā pieci cilvēki, un dibinātāji uzskata, ka drošības uzlabošana, nevis AI aizliegšana, ir pareizais risinājums sabiedrības neuzticībai.
