Vai jūsu mājaslapa bloķē AI asistentus, jums nezinot?
Aptuveni katra četrpadsmitā Latvijas mājaslapa neielaiž crawler, kas atlasa lapas AI atbildēm, un robots.txt failā šis aizliegums parasti nav ierakstīts.
Pēdējos divos gados uzņēmumu vadītāji arvien biežāk jautā, vai ChatGPT viņus atrod. Parasti iesaka atvērt robots.txt failu un paskatīties. Mēs izmērījām, vai šis padoms strādā. Lielākoties nestrādā, jo bloķēšana, kas uzņēmumu paslēpj no AI asistentiem, gandrīz nekad nav failā, kuru iesaka pārbaudīt.
Šis ir viens atradums no Baltijas mājaslapu pētījuma, kurā 2026. gada augustā pārbaudījām gandrīz visas Latvijas, Igaunijas un Lietuvas mājaslapas.
Īsumā
Diezgan iespējams, un robots.txt jums to nepateiks. Mēs jautājām pašiem serveriem, nevis lasījām to publicētos noteikumus, un 7 % Latvijas, 5 % Lietuvas un 3 % Igaunijas mājaslapu atteica piekļuvi AI meklēšanas crawler. Parastam pētniecības botam tie paši serveri atteica retāk nekā vienā gadījumā no divsimt, tātad atteikums ir vērsts tieši pret AI, nevis pret automatizētiem pieprasījumiem kopumā. Turklāt lielākoties tas nekur nav pierakstīts: no Baltijas mājaslapām, kas vispār publicē robots.txt, vairāk nekā deviņas no desmit par AI crawler nav uzrakstījušas ne rindiņas.
robots.txt lūdz vienu, serveris dara citu
Katrai mājaslapai, kas atbildēja uz mūsu parasto pieprasījumu, to pašu pieprasījumu nosūtījām vēl trīs reizes: vienreiz kā AI asistenta crawler (tāds atver lapu, lai AI meklētājs to varētu citēt), vienreiz kā AI apmācības crawler un vienreiz kā parasts pētniecības bots. Mūsu crawler katru reizi godīgi nosauca sevi, jo arī atteikums ir viens no mērījumiem.
Ar to šis pētījums atšķiras no visiem iepriekšējiem pētījumiem par šo tēmu. robots.txt failā mājaslapa pieraksta, ko tā lūdz crawler, bet apturēt fails nevienu nevar. Mēs skaitījām, ko serveris patiešām izdarīja, kad pieprasījums pienāca.
Abi slāņi krietni atšķiras. robots.txt vispār ir 61,8 % strādājošo Latvijas mājaslapu, 60,1 % Igaunijas un 68,1 % Lietuvas. No mājaslapām, kurām tas ir, noteikums ar kāda AI crawler nosaukumu ir 9,5 % Latvijā, 5,6 % Igaunijā un 6,0 % Lietuvā. Failā AI crawler piemin retais, bet serveros bloķēšana ir vairākas reizes biežāka.
Ar 7 % ir vērts salīdzināt vēl vienu skaitli. AI apmācības crawler piekļuvi atsaka daudz biežāk: 15 % Latvijā, 18 % Lietuvā, 8 % Igaunijā. Baltijas mājaslapas skaidri šķir divas lietas: kad AI to saturu lasa un kad AI no tā mācās. Otrajam tās piekrīt daudz retāk. Šāda robeža ir saprātīga. Problēma ir mājaslapas, kas aizliedz arī lasīšanu un nekur to nav pierakstījušas.
Ražotāji paši dala AI crawler trīs veidos
Tas ir svarīgi, jo padoms “nobloķējiet AI botus” 2023. un 2024. gadā izskanēja ļoti plaši, bet toreiz lielākā daļa cilvēku zināja tikai vienu botu.
Gan OpenAI, gan Anthropic šo dalījumu publicē savā dokumentācijā, un katram veidam ir savs iestatījums:
| Ražotājs | Meklēšana (ieliek jūs atbildē) | Apmācība | Lietotāja pieprasīta ielāde |
|---|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot | ChatGPT-User |
| Anthropic | Claude-SearchBot | ClaudeBot | Claude-User |
OpenAI par pirmo kolonnu raksta nepārprotami: mājaslapas, kas bloķē OAI-SearchBot, ChatGPT meklēšanas atbildēs neparādīsies, ja nu vienīgi kā navigācijas saites. Anthropic to pašu saka par Claude-User: ja to atslēdz, sistēma nevar ielādēt jūsu saturu, kad atbild uz lietotāja jautājumu. Abus dokumentus pārbaudījām 2026. gada 29. augustā.
Tātad ar vārdiem “AI boti” šeit apzīmē trīs atsevišķus lēmumus. Neielaist apmācības crawler ir pamatots lēmums par to, vai ar jūsu tekstiem drīkst apmācīt svešu modeli. Neielaist meklēšanas crawler nozīmē pazust no atbildēm uz arvien lielāku daļu jūsu klientu jautājumu un pretī nesaņemt neko.
Cloudflare noklusējums izskaidro apmācības crawler bloķēšanu, bet ne meklēšanas
Šie aizliegumi parasti ir ierakstīti kāda produkta iestatījumos, nevis failā, ko uzņēmums rakstījis pats.
- gada 1. jūlijā Cloudflare ierakstā “Content Independence Day” (satura neatkarības diena) paziņoja, ka maina noklusējumu un turpmāk bloķēs AI crawler, ja vien tie par saturu nemaksā tā autoriem. Šajā pētījumā Cloudflare atradām 12 950 Latvijas, 12 220 Igaunijas un 17 769 Lietuvas mājaslapu priekšā. Tie ir apakšējie novērtējumi: tik mājaslapu izdevās droši atpazīt, bet īstais skaits var būt lielāks.
Kad šo rakstu publicējām, šo noklusējumu nosaucām par 7 % cēloni. Tas izskaidro tikai pusi atraduma, tāpēc šo sadaļu esam izlabojuši. Cloudflare dokumentācijā, ko lasījām 2026. gada 3. oktobrī, noklusējumi bloķē crawler, kas vāc saturu AI apmācībai, bet AI meklēšanu atstāj atļautu: Cloudflare pārvaldītajā robots.txt ir aizliegti astoņi apmācības crawler un neviens meklēšanas crawler, un jauniem domēniem aprakstītajos noklusējumos meklēšana paliek atļauta. Ar to var izskaidrot, kāpēc apmācības crawler neielaiž 15 % Latvijas, 18 % Lietuvas un 8 % Igaunijas mājaslapu. Meklēšanas crawler bloķēšanu tas neizskaidro: Cloudflare mājaslapā tam vajadzīgs iestatījums, ko kāds ir ieslēdzis. Katru no šiem iestatījumiem aprakstījām rakstā par Cloudflare un AI crawler (angļu valodā).
Uzņēmumam abi gadījumi izskatās vienādi. Kafejnīca, advokātu birojs vai ražotne pieslēdz CDN vai drošības produktu, jo mājaslapa bija lēna vai to noslogoja boti. Kopā ar produktu mājaslapa iegūst arī crawler politiku un kļūst neredzama asistentam, kuram tās klienti tagad prasa ieteikumu. Nav ne e-pasta, ne brīdinājuma panelī, ne redzamu izmaiņu meklēšanas rezultātos. Vai šī politika bija noklusējums vai iestatījums, ko kāds ieslēdza uzstādīšanas laikā, mūsu pētījums nepasaka: tas redzēja serveru atbilžu kodus, nevis paneļus. Vismaz par apmācības crawler var teikt to pašu, ko redzam gandrīz visā pētījumā: to, ko izmērām valsts tīmeklī, lielākoties nosaka dažu programmatūras ražotāju noklusējuma iestatījumi, nevis tūkstošiem atsevišķu izvēļu.
Apzināti AI meklēšanu bloķē mediji
Deklarētā politika rāda pavisam citu ainu. robots.txt failā mājaslapa pati pieraksta, ko vēlas, un tur viena nozare izceļas: AI meklēšanas bloķēšanu deklarē 21 % Latvijas mediju un izdevēju mājaslapu (Igaunijā 9 %, Lietuvā 11 %), bet visās pārējās nozarēs rādītājs ir no 1 līdz 12 %.
Izdevēji labi saprot, ka AI meklētājs viņiem atņem lapu skatījumus, un savu iebildumu ir pierakstījuši. Pārējiem lielākoties darbojas iestatījums, ko neviens nav pierakstījis. Ja jūsu nozare nav mediji, bet jūsu mājaslapa AI meklēšanas crawler neielaiž, ir vērts noskaidrot, kāpēc.
Pārbaudiet savu mājaslapu piecās minūtēs
Trīs pārbaudes. Katra nākamā pasaka vairāk nekā iepriekšējā.
Pirmā: izlasiet failu. Atveriet pārlūkā https://jusudomens.lv/robots.txt un sameklējiet tajā OAI-SearchBot, GPTBot, ClaudeBot, PerplexityBot un vispārīgo bloku User-agent: *. Lielākā daļa cilvēku pārbauda tikai šo slāni, bet, spriežot pēc augstāk minētajiem skaitļiem, tieši tajā atbilde ir visretāk.
Otrā: nosūtiet serverim vienu pieprasījumu divas reizes. Terminālī salīdziniet parasta pārlūka pieprasījumu ar pieprasījumu, kas sevi piesaka kā AI meklēšanas crawler:
curl -s -o /dev/null -w "parluks: %{http_code}\n" https://jusudomens.lv/
curl -s -o /dev/null -w "ai meklesana: %{http_code}\n" \
-A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" \
https://jusudomens.lv/Ja abas reizes saņemat 200, mājaslapa ir lasāma. Ja pirmajā reizē ir 200, bet otrajā 403, 429 vai pārbaudes lapa, tad kaut kas jūsu mājaslapas infrastruktūrā izlemj crawler piekļuvi jūsu vietā.
Viena atruna, jo izstrādātājs to pajautās pirmo. User-agent virkne ir tikai apgalvojums, un botu pārvaldības rīki īstu crawler pārbauda arī pēc IP adreses, tāpēc atteikums šajā testā nepierāda, ka piekļuvi atteiktu arī īstajam OpenAI crawler. Tas pierāda, ka politika pastāv, ka tā attiecas uz šāda veida pieprasījumiem un ka jūs par to nezinājāt. Ar to pietiek, lai sāktu meklēt cēloni.
Trešā: atrodiet rīku, kas bloķē. Cloudflare vajadzīgā sadaļa saucas AI Crawl Control (agrāk AI Audit). Tā rāda, kuri AI pakalpojumi ir piekļuvuši jūsu saturam, un ļauj piekļuvi iestatīt katram crawler atsevišķi. Citos CDN un WAF produktos tas pats iestatījums saucas citādi. Pārbaudījām 2026. gada 29. augustā.
Ko varat izlabot paši un kad vajag izstrādātāju
Ja bloķēšana ir ierakstīta robots.txt failā vai redzama CDN panelī, varat to izlabot paši: izmainīt robots.txt rindas vai pārslēgt konkrētā crawler iestatījumu CDN panelī. Abas izmaiņas var atsaukt dažās minūtēs, un abos gadījumos izvēlieties apzināti par katru crawler atsevišķi, nevis ar vienu slēdzi visiem.
Izstrādātāju vajag tad, ja abu pārbaužu rezultāti atšķiras, bet panelī nav redzams, kāpēc. Parasti tas nozīmē, ka kaut kur ceļā uz user-agent reaģē ugunsmūra noteikums, pieprasījumu ierobežotājs, drošības spraudnis vai reversais proxy, un, lai to atrastu, jālasa servera žurnāli, nevis jāmin. Tā ir darba stunda, ne projekts, bet ar vienu slēdzi to neatrisina.
Lasāms nav tas pats, kas citējams
Ielaist crawler ir minimums, nevis mērķis. Mājaslapa, kas pieklājīgi atbild katram AI crawler, bet nesaka neko tādu, ko būtu vērts citēt, atbildēs tāpat neparādīsies. Tā ir cita problēma ar citiem cēloņiem. Kā AI meklētāji izvēlas, ko citēt vietējos jautājumos, aprakstījām rakstā par lokālo SEO AI meklētājos.
Mūsu datos redzams arī trešais veids, kā kļūt nelasāmam, un tas nāk no pretējās puses: neliela daļa mājaslapu atdod gandrīz tukšu HTML failu un visu lapu uzbūvē ar JavaScript. Cilvēkam šādas lapas izskatās normāli. Jebkuram rīkam, kas lapu lasa bez pilna pārlūka, un tādi ir lielākā daļa AI crawler, tās ir gandrīz tukšas. Bloķēšana nav vienīgais veids, kā palikt neizlasītam.
Kāpēc mēs to varam apgalvot
Šie skaitļi nāk no gandrīz pilnas uzskaites, nevis no izlases. No 306 872 Baltijas domēniem mūsu sarakstā 2026. gada jūlijā un augustā izmērījām 293 806, no vienas fiksētas vietas, ar crawler, kas katrā pieprasījumā godīgi nosauca sevi. Publicējam tikai kopsavilkumus, un nevienu mājaslapu nenosaucam blakus tās trūkumam. Metode un visas nodaļas ir Baltijas mājaslapu pētījumā.
Ja gribat zināt, nevis minēt, atsūtiet mums adresi, un mēs izpildīsim tās pašas piekļuves pārbaudes jūsu mājaslapai un pateiksim, ko jūsu serveris patiešām dara.