Vai jūsu mājaslapa bloķē AI asistentus, jums nezinot?

Pēdējos divos gados uzņēmumu vadītāji arvien biežāk jautā, vai ChatGPT viņus atrod. Parasti iesaka atvērt robots.txt failu un paskatīties. Mēs izmērījām, vai šis padoms strādā. Lielākoties nestrādā, jo bloķēšana, kas uzņēmumu paslēpj no AI asistentiem, gandrīz nekad nav failā, kuru iesaka pārbaudīt.

Šis ir viens atradums no Baltijas mājaslapu pētījuma, kurā 2026. gada augustā pārbaudījām gandrīz visas Latvijas, Igaunijas un Lietuvas mājaslapas.

Īsumā

Diezgan iespējams, un robots.txt jums to nepateiks. Mēs jautājām pašiem serveriem, nevis lasījām to publicētos noteikumus, un 7 % Latvijas, 5 % Lietuvas un 3 % Igaunijas mājaslapu atteica piekļuvi AI meklēšanas crawler. Parastam pētniecības botam tie paši serveri atteica retāk nekā vienā gadījumā no divsimt, tātad atteikums ir vērsts tieši pret AI, nevis pret automatizētiem pieprasījumiem kopumā. Turklāt lielākoties to neviens nav izlēmis: no Baltijas mājaslapām, kas vispār publicē robots.txt, vairāk nekā deviņas no desmit par AI crawler nav uzrakstījušas ne rindiņas.

robots.txt lūdz vienu, serveris dara citu

Katrai mājaslapai, kas atbildēja uz mūsu parasto pieprasījumu, to pašu pieprasījumu nosūtījām vēl trīs reizes: vienreiz kā AI asistenta crawler (tāds atver lapu, lai AI meklētājs to varētu citēt), vienreiz kā AI apmācības crawler un vienreiz kā parasts pētniecības bots. Mūsu crawler katru reizi godīgi nosauca sevi, jo arī atteikums ir viens no mērījumiem.

Ar to šis pētījums atšķiras no visiem iepriekšējiem pētījumiem par šo tēmu. robots.txt failā mājaslapa pieraksta, ko tā lūdz crawler, bet apturēt fails nevienu nevar. Mēs skaitījām, ko serveris patiešām izdarīja, kad pieprasījums pienāca.

Abi slāņi krietni atšķiras. robots.txt vispār ir 61,8 % strādājošo Latvijas mājaslapu, 60,1 % Igaunijas un 68,1 % Lietuvas. No mājaslapām, kurām tas ir, noteikums ar kāda AI crawler nosaukumu ir 9,5 % Latvijā, 5,6 % Igaunijā un 6,0 % Lietuvā. Failā AI crawler piemin retais, bet serveros bloķēšana ir vairākas reizes biežāka.

Ar 7 % ir vērts salīdzināt vēl vienu skaitli. AI apmācības crawler piekļuvi atsaka daudz biežāk: 15 % Latvijā, 18 % Lietuvā, 8 % Igaunijā. Baltijas mājaslapas skaidri šķir divas lietas: kad AI to saturu lasa un kad AI no tā mācās. Otrajam tās piekrīt daudz retāk. Šāda robeža ir saprātīga. Problēma ir tā, ka daudzas mājaslapas netīšām aizliedz arī lasīšanu.

Ražotāji paši dala AI crawler trīs veidos

Tas ir svarīgi, jo padoms “nobloķējiet AI botus” 2023. un 2024. gadā izskanēja ļoti plaši, bet toreiz lielākā daļa cilvēku zināja tikai vienu botu.

Gan OpenAI, gan Anthropic šo dalījumu publicē savā dokumentācijā, un katram veidam ir savs iestatījums:

Ražotājs	Meklēšana (ieliek jūs atbildē)	Apmācība	Lietotāja pieprasīta ielāde
OpenAI	OAI-SearchBot	GPTBot	ChatGPT-User
Anthropic	Claude-SearchBot	ClaudeBot	Claude-User

OpenAI par pirmo kolonnu raksta nepārprotami: mājaslapas, kas bloķē OAI-SearchBot, ChatGPT meklēšanas atbildēs neparādīsies, ja nu vienīgi kā navigācijas saites. Anthropic to pašu saka par Claude-User: ja to atslēdz, sistēma nevar ielādēt jūsu saturu, kad atbild uz lietotāja jautājumu. Abus dokumentus pārbaudījām 2026. gada 29. augustā.

Tātad ar vārdiem “AI boti” šeit apzīmē trīs atsevišķus lēmumus. Neielaist apmācības crawler ir pamatots lēmums par to, vai ar jūsu tekstiem drīkst apmācīt svešu modeli. Neielaist meklēšanas crawler nozīmē pazust no atbildēm uz arvien lielāku daļu jūsu klientu jautājumu un pretī nesaņemt neko.

Lēmumu pieņēma nevis uzņēmums, bet tā CDN

Par šiem 7 % svarīgākais ir šis: lielākajā daļā šo uzņēmumu, visticamāk, neviens bloķēšanu nav izlēmis.

2025. gada 1. jūlijā Cloudflare ierakstā “Content Independence Day” (satura neatkarības diena) paziņoja, ka maina noklusējumu un turpmāk bloķēs AI crawler, ja vien tie par saturu nemaksā tā autoriem. Šajā pētījumā Cloudflare atradām 12 950 Latvijas, 12 220 Igaunijas un 17 769 Lietuvas mājaslapu priekšā. Tie ir apakšējie novērtējumi: tik mājaslapu izdevās droši atpazīt, bet īstais skaits var būt lielāks.

Tas notiek šādi. Kafejnīca, advokātu birojs vai ražotne pieslēdz CDN, jo mājaslapa bija lēna vai to noslogoja boti. Kopā ar CDN tā manto arī crawler politiku un kļūst neredzama asistentam, kuram tās klienti tagad prasa ieteikumu. Nav ne e-pasta, ne brīdinājuma panelī, ne redzamu izmaiņu meklēšanas rezultātos. To pašu redzam gandrīz visā pētījumā: to, ko izmērām valsts tīmeklī, lielākoties nosaka dažu programmatūras ražotāju noklusējuma iestatījumi, nevis tūkstošiem atsevišķu izvēļu.

Apzināti AI meklēšanu bloķē mediji

Deklarētā politika rāda pavisam citu ainu. robots.txt failā mājaslapa pati pieraksta, ko vēlas, un tur viena nozare izceļas: AI meklēšanas bloķēšanu deklarē 21 % Latvijas mediju un izdevēju mājaslapu (Igaunijā 9 %, Lietuvā 11 %), bet visās pārējās nozarēs rādītājs ir no 1 līdz 12 %.

Izdevēji labi saprot, ka AI meklētājs viņiem atņem lapu skatījumus, un savu iebildumu ir pierakstījuši. Pārējiem lielākoties darbojas noklusējums, ko viņi nekad nav izvēlējušies. Ja jūsu nozare nav mediji, bet jūsu mājaslapa AI meklēšanas crawler neielaiž, ir vērts noskaidrot, kāpēc.

Pārbaudiet savu mājaslapu piecās minūtēs

Trīs pārbaudes. Katra nākamā pasaka vairāk nekā iepriekšējā.

Pirmā: izlasiet failu. Atveriet pārlūkā https://jusudomens.lv/robots.txt un sameklējiet tajā OAI-SearchBot, GPTBot, ClaudeBot, PerplexityBot un vispārīgo bloku User-agent: *. Lielākā daļa cilvēku pārbauda tikai šo slāni, bet, spriežot pēc augstāk minētajiem skaitļiem, tieši tajā atbilde ir visretāk.

Otrā: nosūtiet serverim vienu pieprasījumu divas reizes. Terminālī salīdziniet parasta pārlūka pieprasījumu ar pieprasījumu, kas sevi piesaka kā AI meklēšanas crawler:

curl -s -o /dev/null -w "parluks: %{http_code}\n" https://jusudomens.lv/
curl -s -o /dev/null -w "ai meklesana: %{http_code}\n" \
  -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" \
  https://jusudomens.lv/

Ja abas reizes saņemat 200, mājaslapa ir lasāma. Ja pirmajā reizē ir 200, bet otrajā 403, 429 vai pārbaudes lapa, tad kaut kas jūsu mājaslapas infrastruktūrā izlemj crawler piekļuvi jūsu vietā.

Viena atruna, jo izstrādātājs to pajautās pirmo. User-agent virkne ir tikai apgalvojums, un botu pārvaldības rīki īstu crawler pārbauda arī pēc IP adreses, tāpēc atteikums šajā testā nepierāda, ka piekļuvi atteiktu arī īstajam OpenAI crawler. Tas pierāda, ka politika pastāv, ka tā attiecas uz šāda veida pieprasījumiem un ka jūs par to nezinājāt. Ar to pietiek, lai sāktu meklēt cēloni.

Trešā: atrodiet rīku, kas bloķē. Cloudflare vajadzīgā sadaļa saucas AI Crawl Control (agrāk AI Audit). Tā rāda, kuri AI pakalpojumi ir piekļuvuši jūsu saturam, un ļauj piekļuvi iestatīt katram crawler atsevišķi. Citos CDN un WAF produktos tas pats iestatījums saucas citādi. Pārbaudījām 2026. gada 29. augustā.

Ko varat izlabot paši un kad vajag izstrādātāju

Ja bloķēšana ir ierakstīta robots.txt failā vai redzama CDN panelī, varat to izlabot paši: izmainīt robots.txt rindas vai pārslēgt konkrētā crawler iestatījumu CDN panelī. Abas izmaiņas var atsaukt dažās minūtēs, un abos gadījumos izvēlieties apzināti par katru crawler atsevišķi, nevis ar vienu slēdzi visiem.

Izstrādātāju vajag tad, ja abu pārbaužu rezultāti atšķiras, bet panelī nav redzams, kāpēc. Parasti tas nozīmē, ka kaut kur ceļā uz user-agent reaģē ugunsmūra noteikums, pieprasījumu ierobežotājs, drošības spraudnis vai reversais proxy, un, lai to atrastu, jālasa servera žurnāli, nevis jāmin. Tā ir darba stunda, ne projekts, bet ar vienu slēdzi to neatrisina.

Lasāms nav tas pats, kas citējams

Ielaist crawler ir minimums, nevis mērķis. Mājaslapa, kas pieklājīgi atbild katram AI crawler, bet nesaka neko tādu, ko būtu vērts citēt, atbildēs tāpat neparādīsies. Tā ir cita problēma ar citiem cēloņiem. Kā AI meklētāji izvēlas, ko citēt vietējos jautājumos, aprakstījām rakstā par lokālo SEO AI meklētājos.

Mūsu datos redzams arī trešais veids, kā kļūt nelasāmam, un tas nāk no pretējās puses: neliela daļa mājaslapu atdod gandrīz tukšu HTML failu un visu lapu uzbūvē ar JavaScript. Cilvēkam šādas lapas izskatās normāli. Jebkuram rīkam, kas lapu lasa bez pilna pārlūka, un tādi ir lielākā daļa AI crawler, tās ir gandrīz tukšas. Bloķēšana nav vienīgais veids, kā palikt neizlasītam.

Kāpēc mēs to varam apgalvot

Šie skaitļi nāk no gandrīz pilnas uzskaites, nevis no izlases. No 306 872 Baltijas domēniem mūsu sarakstā 2026. gada jūlijā un augustā izmērījām 293 806, no vienas fiksētas vietas, ar crawler, kas katrā pieprasījumā godīgi nosauca sevi. Publicējam tikai kopsavilkumus, un nevienu mājaslapu nenosaucam blakus tās trūkumam. Metode un visas nodaļas ir Baltijas mājaslapu pētījumā.

Ja gribat zināt, nevis minēt, atsūtiet mums adresi, un mēs izpildīsim tās pašas piekļuves pārbaudes jūsu mājaslapai un pateiksim, ko jūsu serveris patiešām dara.