Pētījums · Crawler

Par GWMWebAuditBot

Ja atradāt GWMWebAuditBot savas mājaslapas žurnālfailos, šī lapa paskaidro, kas tas ir, ko tas paņēma un kā to apturēt. Tā ir Green Wire Media pētniecības rāpuļprogramma, un tā apmeklē katru mājaslapu vienu reizi.

Īsumā

Mēs mērām, cik Latvijas, Igaunijas un Lietuvas mājaslapu ir sasniedzamas mākslīgā intelekta meklētājiem, cik ātri tās ielādējas un vai to e-pasts ir aizsargāts pret viltošanu. Rezultāts būs publisks pētījums ar kopsavilkuma skaitļiem. Nevienā publikācijā nebūs nosaukta konkrēta mājaslapa kopā ar konkrētu tās trūkumu.

Ar ko mēs pieteicāmies

Visi četri pieprasījumi nāk no vienas un tās pašas adreses dažu sekunžu laikā, un katrā no tiem ir mūsu pašu nosaukums. Asistentu apzīmējumi tur ir tāpēc, ka tieši tos pārbauda vietņu aizsardzības sistēmas: mēs mērām, kas tiek bloķēts, nevis cenšamies bloķēšanu apiet.

MērījumsUser-Agent
Pārlūka kontroleKontrolmērījums. Bez tā nav iespējams atšķirt mājaslapas lēmumu no mūsu pašu problēmas. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 GWMWebAuditBot/1.0
Meklēšanas asistentsPārbauda, vai mājaslapa atbild meklēšanas asistentam. Bloķēšana šeit nozīmē, ka atbildēs tās vairs nav. Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot; run by GWMWebAuditBot/1.0
Apmācības rāpuļprogrammaPārbauda, vai mājaslapa atbild, kad pieprasījumu sūta apmācības rāpuļprogramma. Bloķēšana šeit ir pilnīgi pamatota izvēle un tiek uzskaitīta atsevišķi. Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot; run by GWMWebAuditBot/1.0
Vienkāršs klientsMēs paši, bez jebkādām pārlūka pazīmēm. Atdala asistentu bloķēšanu no visa, kas nav pārlūks, bloķēšanas. GWMWebAuditBot/1.0 (+https://greenwiremedia.com/lv/baltijas-majaslapu-petijums/gwmwebauditbot; research crawl; opt out: info@greenwiremedia.com)

Mēs nekad nemainām šos apzīmējumus, lai tiktu garām aizsardzībai, un nekad nesūtām pieprasījumus caur starpniekserveriem. Ja to darītu, pētījuma galvenais skaitlis zaudētu jēgu.

Ko vācam un ko nevācam

Vācam

  • Sākumlapu tieši tādu, kādu to saņem jebkurš apmeklētājs.
  • Failu robots.txt un mājaslapas karti, ja tāda ir norādīta.
  • Publiskos DNS ierakstus: adreses, serverus un e-pasta autentifikācijas ierakstus.
  • HTTP galvenes, sertifikātu un lapas ielādes laiku.

Nevācam

  • Nekas aiz pieteikšanās formas, maksājuma vai jebkādas piekļuves kontroles.
  • Nekādi personas dati, kontaktformu saturs vai klientu dati.
  • Nekāda meklēšana pēc atklātiem failiem, administratora ceļiem vai ievainojamībām. Mēs skatāmies, nevis zondējam.

Katra mājaslapa tiek apmeklēta vienu reizi. Nekas netiek apmeklēts atkārtoti, vienlaikus ar vienu serveri tiek uzturēts viens savienojums, un mēs ievērojam failu robots.txt arī attiecībā uz sevi.

Kā atteikties

Divi veidi, abi darbojas.

01

Rakstiet mums

Nosūtiet domēnu uz info@greenwiremedia.com. Mēs to izņemam no saraksta un atbildam. Ja dati jau ir savākti, tos izdzēšam.

02

Vai norādiet to failā robots.txt

Divas rindas jūsu mājaslapas failā /robots.txt, un rāpuļprogramma mājaslapu neaiztiek:

User-agent: GWMWebAuditBot
Disallow: /

Mājaslapa, kas atteikusies, netiek uzskaitīta kā mājaslapa, kas neizdevās. To atskaitām atsevišķi, kā pētījuma izlases korekciju.

Kas to dara

Green Wire Media, tīmekļa izstrādes un mārketinga aģentūra Rīgā. Jautājumi par pētījumu, tā metodi vai par konkrētu pieprasījumu jūsu žurnālfailos: info@greenwiremedia.com.

Pilnu metodes aprakstu publicēsim kopā ar pētījumu. Tajā būs norādīts arī tas, no kurienes mērījumi veikti, jo ielādes ātrums ir atkarīgs no atrašanās vietas.

↑↓ pārvietoties · ↵ atvērt · esc aizvērt