Cloudflare automātiski bloķēs jauktos tīmekļa robotus, kas kalpo AI uzņēmumiem
Cloudflare paziņojis, ka no 2026. gada septembra automātiski bloķēs jauktos tīmekļa robotus, kas vienlaikus indeksē vietnes meklētājprogrammām un savāc datus AI apmācībai, lai dotu vietņu īpašniekiem lielāku kontroli pār satura izmantošanu.
Cloudflare, vadošā vietņu mitināšanas un drošības platforma, paziņojusi par jaunu politiku, kas automātiski bloķēs jauktos tīmekļa robotus — tos, kas vienlaikus indeksē vietnes meklētājprogrammām un darbojas kā AI aģenti vai treneri. Uzņēmums iepriekš piedāvāja klientiem iespēju brīvprātīgi bloķēt šādus robotus, bet tagad tas kļūst par noklusējuma iestatījumu.
Saskaņā ar Cloudflare izpilddirektora un līdzdibinātāja Metjū Prinsa teikto, interneta satiksmes lielāko daļu tagad veido necilvēku trafiks, un ir jārīkojas straujāk, lai nodrošinātu ilgtspējīgu ekosistēmu. Jaunie rīki un partnerības palīdzēs vietņu īpašniekiem iegūt lielāku pārredzamību un komerciālas iespējas, vienlaikus dodot labumu AI uzņēmumiem, kuru roboti darbojas skaidri un pārredzami.
No 2026. gada 15. septembra visiem jaunajiem Cloudflare klientiem un esošo klientu jaunajām vietnēm pēc noklusējuma tiks atļauta meklētājprogrammu indeksācija, bet bloķēta AI apmācība un aģentu izmantošana lapās ar reklāmām. Jauktie roboti, kas nepiedāvā vietņu īpašniekiem iespēju izvēlēties, vai viņu saturu drīkst izmantot AI, arī tiks bloķēti reklāmu lapās. Lietotāji ar bezmaksas kontiem pāries uz šiem noklusējuma iestatījumiem, ja vien tie pirms termiņa neizvēlēsies atteikties.
Cloudflare arī atjaunina savu Pay Per Crawl funkciju, ko ieviesa 2025. gadā, pārdēvējot to par Pay Per Use. Jaunā sistēma maksās vietņu īpašniekiem nevis par robota apmeklējumu, bet tad, kad viņu saturs parādīsies AI tērzēšanas robotu atbildēs. Pagaidām partnerības noslēgtas ar Ceramic.AI un You.com, bet Cloudflare cer, ka pievienosies arī citi AI uzņēmumi.
Lai gan paziņojumā tieši neminēts Google, analītiķi norāda, ka jaunā politika ir vērsta pret tehnoloģiju gigantu. Google galvenais robots Googlebot vienlaikus indeksē vietnes meklēšanai un vāc datus Gemini apmācībai, kā arī darbina AI funkcijas. Lai gan Google piedāvā atsevišķu robotu Google-Extended tikai tradicionālajai meklēšanai, izdevējiem nav iespējas atļaut savu saturu AI meklēšanas rezultātos, bet liegt to modeļu apmācībai. Cloudflare cer piespiest Google un citus uzņēmumus mainīt savu pieeju.
