Vai jūsu mājaslapa bloķē AI asistentus, jums nezinot?
Aptuveni katra četrpadsmitā Latvijas mājaslapa atsaka rāpuļprogrammām, kas lapas ieliek AI atbildēs. Gandrīz neviens to nav izvēlējies, un robots.txt klusē.
Pēdējos divos gados jautājums “vai ChatGPT mūs atrod” ir kļuvis par jautājumu, ko uzņēmumu vadītāji uzdod skaļi. Ierastais padoms liek atvērt robots.txt failu un paskatīties. Mēs izmērījām, vai šis padoms strādā, un lielākoties tas nestrādā, jo bloķēšana, kas uzņēmumu paslēpj no AI asistentiem, gandrīz nekad neatrodas failā, kuru cilvēkiem iesaka pārbaudīt.
Šis ir viens atradums no Baltijas mājaslapu pētījuma, kurā 2026. gada augustā pārbaudījām gandrīz visas Latvijas, Igaunijas un Lietuvas mājaslapas.
Īsumā
Diezgan iespējams, un robots.txt jums to nepateiks. Mēs jautājām pašiem serveriem, nevis lasījām to publicētos noteikumus, un AI meklēšanas rāpuļprogrammai atteica 7 % Latvijas, 5 % Lietuvas un 3 % Igaunijas mājaslapu. Parastam pētniecības botam tie paši serveri atteica retāk nekā vienā gadījumā no divsimt, tātad atteikums ir vērsts tieši pret AI, nevis pret automatizāciju kopumā. Un lielākoties tas nav neviena lēmums: no Baltijas mājaslapām, kas vispār publicē robots.txt, vairāk nekā deviņas no desmit par AI rāpuļprogrammām nav uzrakstījušas ne rindiņas.
Fails lūdz vienu, serveris dara citu
Katrai mājaslapai, kas atbildēja uz mūsu parasto pieprasījumu, mēs to pašu pieprasījumu nosūtījām vēl trīs reizes: vienreiz stādoties priekšā kā AI asistenta rāpuļprogramma, tāda, kas atver lapu, lai AI meklētājs to varētu citēt, vienreiz kā AI apmācības rāpuļprogramma un vienreiz kā parasts pētniecības bots. Rāpuļprogramma katru reizi godīgi pateica, kas tā ir, jo atteikums pats par sevi ir viens no mērījumiem.
Tur arī slēpjas atšķirība no visiem iepriekšējiem pētījumiem par šo tēmu. robots.txt fails pieraksta, ko mājaslapa rāpuļprogrammām lūdz. Apturēt tas nespēj neko. Mēs skaitījām, ko serveris patiešām izdarīja, kad tam pajautāja.
Abi slāņi krietni nesakrīt. robots.txt vispār pastāv 61,8 % strādājošo Latvijas mājaslapu, 60,1 % Igaunijas un 68,1 % Lietuvas. No mājaslapām, kurām tas ir, noteikumus ar kādas AI rāpuļprogrammas vārdu satur 9,5 % Latvijā, 5,6 % Igaunijā un 6,0 % Lietuvā. Lūgtā politika ir plāna, un izpildītais slānis zem tās ir vairākas reizes biezāks.
Blakus 7 % ir vērts nolikt vēl vienu skaitli. AI apmācības rāpuļprogrammām atsaka daudz biežāk: 15 % Latvijā, 18 % Lietuvā, 8 % Igaunijā. Baltijas mājaslapas skaidri šķir to, ka tās lasa, no tā, ka no tām mācās, un otrais tām patīk daudz mazāk. Šo robežu vilkt ir saprātīgi. Problēma ir tā, ka daudzas mājaslapas netīšām aizliedz arī pirmo, lasīšanu.
Rāpuļprogrammas nav viena vienība, un ražotāji paši to saka
Tas ir svarīgi tāpēc, ka padoms “nobloķējiet AI botus” 2023. un 2024. gadā izskanēja ļoti plaši, un toreiz lielākā daļa cilvēku zināja tieši vienu botu.
Gan OpenAI, gan Anthropic šo dalījumu publicē paši savā dokumentācijā, un abi katru iestatījumu tur atsevišķi:
| Ražotājs | Meklēšana, tā, kas ieliek jūs atbildē | Apmācība | Lietotāja pieprasīta ielāde |
|---|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot | ChatGPT-User |
| Anthropic | Claude-SearchBot | ClaudeBot | Claude-User |
OpenAI formulējums par pirmo kolonnu ir nepārprotams: mājaslapas, kas atteikušās no OAI-SearchBot, ChatGPT meklēšanas atbildēs parādītas netiks, augstākais kā navigācijas saites. Anthropic to pašu saka par Claude-User: tā atslēgšana liedz sistēmai ielādēt jūsu saturu, atbildot uz lietotāja jautājumu. Abus dokumentus pārbaudījām 2026. gada 29. augustā.
Tātad ar vienu vārdu “AI boti” šeit sauc trīs atsevišķus lēmumus. Atteikt apmācības rāpuļprogrammai ir aizstāvama nostāja par to, vai jūsu teksti drīkst mācīt kāda modeli. Atteikt meklēšanas rāpuļprogrammai nozīmē pazust no arvien lielākas daļas jautājumu, ko jūsu klienti uzdod, un pretī nesaņemt neko.
To neizvēlējās uzņēmums. To izvēlējās produkts.
Visnoderīgākais, ko par šiem 7 % saprast: lielākajai daļai šo mājaslapu tas visticamāk nav lēmums, ko uzņēmumā kāds jebkad būtu pieņēmis.
- gada 1. jūlijā Cloudflare ierakstā ar nosaukumu Content Independence Day, satura neatkarības diena, paziņoja, ka maina noklusējumu un AI rāpuļprogrammas turpmāk bloķē, ja vien tās par saturu nemaksā tā autoriem. Šajā pētījumā Cloudflare tika atrasts 12 950 Latvijas, 12 220 Igaunijas un 17 769 Lietuvas mājaslapu priekšā, un tie ir atpazīšanas minimumi, nevis precīzs skaits.
Mehānisms ir tieši tāds. Kafejnīca, advokātu birojs vai ražotne pieslēdzas CDN, jo mājaslapa bija lēna vai to nomāca boti, līdzi manto rāpuļprogrammu politiku un kļūst neredzama asistentam, kuram tās klienti tagad prasa ieteikumu. Nav ne e-pasta, ne brīdinājuma panelī, ne redzamu izmaiņu meklēšanas rezultātos. Šī aina atkārtojas gandrīz visā mūsu pētījumā: nacionālā tīmekļa izmērītā uzvedība izrādās dažu programmatūras ražotāju noklusējuma iestatījumi, nevis tūkstošiem atsevišķu izvēļu.
Viena nozare izlēma pati, un tā ir tieši tā, kuru jūs nosauktu
Deklarētā politika izstāsta stāsta otru pusi, un tur aina ir pilnīgi cita. robots.txt failā, kur mājaslapa pieraksta savu gribu, nevis ļauj produktam kaut ko izpildīt tās vietā, viena nozare stāv savrup: AI meklēšanas bloķēšanu deklarē 21 % Latvijas mediju un izdevēju mājaslapu, pret 9 % Igaunijā un 11 % Lietuvā, kamēr visas pārējās nozares ir robežās no 1 līdz 12 %.
Izdevēji precīzi saprot, ko AI meklētājs nodara lapas skatījumam, un savu iebildumu ir pierakstījuši. Visi pārējie lielākoties nes noklusējumu, kuru nekad nav izvēlējušies. Ja jūsu nozare nav mediji un jūsu mājaslapa AI meklēšanas rāpuļprogrammām atsaka, iemeslu ir vērts noskaidrot.
Pārbaudiet savu mājaslapu piecās minūtēs
Trīs pārbaudes, sakārtotas pēc tā, cik daudz katra pasaka.
Pirmā: izlasiet failu. Atveriet pārlūkā https://jusudomens.lv/robots.txt un sameklējiet tajā OAI-SearchBot, GPTBot, ClaudeBot, PerplexityBot un vispārīgo bloku User-agent: *. Šis ir vienīgais slānis, ko lielākā daļa cilvēku jebkad pārbauda, un, spriežot pēc iepriekš minētajiem skaitļiem, tieši tajā atbilde atrodas visretāk.
Otrā: uzdodiet savam serverim vienu jautājumu divas reizes. Terminālī salīdziniet parastu pārlūka pieprasījumu ar tādu, kas stādās priekšā kā AI meklēšanas rāpuļprogramma:
curl -s -o /dev/null -w "parluks: %{http_code}\n" https://jusudomens.lv/
curl -s -o /dev/null -w "ai meklesana: %{http_code}\n" \
-A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" \
https://jusudomens.lv/Divi 200 nozīmē, ka esat lasāmi. 200, kam seko 403, 429 vai pārbaudes lapa, nozīmē, ka kaut kas jūsu tehnoloģiju ķēdē rāpuļprogrammu politiku izlemj jūsu vietā.
Viena godīga atruna, jo tas ir pirmais, ko pajautās izstrādātājs. User-agent virkne ir tikai apgalvojums, un botu pārvaldības produkti īsto rāpuļprogrammu pārbauda arī pēc IP adreses, tāpēc atteikums šajā testā nepierāda, ka atteikts tieši OpenAI. Tas pierāda, ka politika pastāv, ka tā nostrādā uz šīs klases pieprasījumiem un ka jūs par to nezinājāt. Ar to pietiek, lai sāktu meklēt.
Trešā: paskatieties uz produktu, kas to dara. Ja izmantojat Cloudflare, vajadzīgā sadaļa saucas AI Crawl Control, agrāk AI Audit, un tā rāda, kuri AI pakalpojumi ir piekļuvuši jūsu saturam, un ļauj piekļuvi iestatīt katrai rāpuļprogrammai atsevišķi. Tas pats iestatījums ar citiem nosaukumiem ir arī citos CDN un WAF produktos. Pārbaudīts 2026. gada 29. augustā.
Ko varat izlabot paši, un kur vajadzīgs izstrādātājs
Paši varat rīkoties, ja bloķēšana ir deklarēta vai redzama panelī: izlabot robots.txt rindas vai pārslēgt attiecīgās rāpuļprogrammas iestatījumu CDN panelī. Abas darbības ir atgriežamas minūtes laikā, un abām jābūt apzinātai izvēlei par katru rāpuļprogrammu atsevišķi, nevis vienam slēdzim visām.
Izstrādātājs ir vajadzīgs tad, ja abas pārbaudes nesakrīt un panelis nepaskaidro, kāpēc. Parasti tas nozīmē, ka kaut kur ķēdē uz user-agent reaģē ugunsmūra noteikums, pieprasījumu ierobežotājs, drošības spraudnis vai reversais proxy, un tā atrašana prasa lasīt servera žurnālus, nevis minēt. Tā ir darba stunda, ne projekts, bet tas nav arī iestatījumu slēdzis.
Lasāms nav tas pats, kas citējams
Ielaista rāpuļprogramma ir minimums, nevis mērķis. Mājaslapa, kas pieklājīgi atbild katrai AI rāpuļprogrammai un tad nepasaka neko citēšanas vērtu, atbildēs tāpat neparādīsies, un tā ir atsevišķa problēma ar atsevišķiem cēloņiem. Kā AI meklētāji izvēlas, kuru citēt vietējos jautājumos, esam aprakstījuši rakstā par lokālo SEO AI meklētājos.
Mūsu datos ir arī trešais veids, kā būt nelasāmam, un tas nāk no pretējās puses: neliela daļa mājaslapu atdod gandrīz tukšu HTML failu un visu lapu uzbūvē ar JavaScript. Cilvēkam šādas lapas izskatās normālas. Jebkam, kas lapu lasa bez pilna pārlūka, un tas attiecas uz lielāko daļu AI rāpuļprogrammu, tās ir gandrīz tukšas. Bloķēšana nav vienīgais veids, kā palikt neizlasītam.
Kāpēc mēs to varam apgalvot
Šie skaitļi nāk no gandrīz pilnas skaitīšanas, nevis no izlases. No 306 872 Baltijas domēniem mūsu sarakstā 2026. gada jūlijā un augustā izmērījām 293 806, no vienas fiksētas vietas, ar rāpuļprogrammu, kas katrā pieprasījumā sevi godīgi nosauca. Viss ir publicēts kā kopsavilkums, un neviena mājaslapa netiek nosaukta blakus tās trūkumam. Metode un visas nodaļas ir Baltijas mājaslapu pētījumā.
Ja gribat zināt, nevis minēt, atsūtiet mums adresi, un mēs izpildīsim tās pašas piekļuves pārbaudes pret jūsu mājaslapu un pateiksim, ko jūsu serveris patiešām dara.