Kto sme
SerpiosBot je robot služby Serpios na sledovanie pozícií webov vo vyhľadávačoch (prevádzkovateľ 4INTERNET, s.r.o.). Našim používateľom kontroluje, či stránky, ktoré nám zadali, stále obsahujú odkaz na ich web, a na ich vyžiadanie analyzuje stránku, ktorá sa zobrazuje vo výsledkoch vyhľadávania na sledované kľúčové slovo (a pár stránok nad ňou na porovnanie). Ak ste ho našli vo svojich záznamoch, niekto u nás sleduje odkaz z vašej stránky alebo porovnáva svoju stránku s vašou.
Ako sa predstavuje
Mozilla/5.0 (compatible; SerpiosBot/1.0; +https://serpios.com/bot)
Rovnaký User-Agent používame aj pri sťahovaní ikony webu (/favicon.ico), ktorú používateľom ukazujeme pri ich projektoch.
Čo robí
- Stiahne iba konkrétne stránky, ktoré zadal používateľ. Nesleduje ďalšie odkazy ani neprehľadáva celý web.
- Každú stránku s odkazom navštívi raz za 7 dní. Ak sa niečo zmenilo, overí to druhou návštevou približne o 60 minút. Používateľ môže vyžiadať aj okamžitú kontrolu.
- Pri analýze stránku stiahne raz na jednu požiadavku používateľa, ktorý za ňu platí, nie pravidelne.
- Na jeden web posiela najviac jednu požiadavku naraz a medzi požiadavkami robí prestávky, takže server nezaťaží.
- Pred prvou návštevou webu si prečíta
robots.txt(najviac raz za deň) a stránky, ktoré zakazuje, nenavštevuje. - Načíta najviac 2 MB HTML, sleduje najviac 5 presmerovaní a nespúšťa JavaScript, neodosiela formuláre a neprihlasuje sa.
- Ochrany proti robotom neobchádza. Ak web vráti výzvu na overenie (napr. Cloudflare), chybu 401, 403 alebo 429, stránku označíme ako neoverenú a ochranu sa nepokúšame obísť.
Čo si ukladá
Iba to, čo potrebujeme na odpoveď „je tam odkaz?“: adresu stránky, stavový kód HTTP, adresu a text nájdeného odkazu na web používateľa, jeho atribút rel a to, či má stránka v meta robots noindex alebo nofollow. Obsah stránky neukladáme, neindexujeme a nikomu ďalej neposkytujeme.
Pri analýze stránky si uložíme jej základné údaje (titulok, meta popis, nadpisy, počet slov, štruktúrované dáta a podobne) a hodnotenie, ktoré ukážeme iba používateľovi, ktorý si analýzu vyžiadal. Text stránky použijeme len na napísanie hodnotenia (spracuje ho aj náš dodávateľ umelej inteligencie) a neukladáme ho.
Ako ho zablokovať
Pridajte do súboru robots.txt na svojom webe:
User-agent: SerpiosBot
Disallow: /
Robot zmenu uvidí najneskôr do jedného dňa. Rešpektuje aj pravidlá pre User-agent: *, ak pre SerpiosBot žiadne nemáte, a zákaz len pre časť webu (Disallow: /sekcia/).
Kontakt
Ak SerpiosBot spôsobuje na vašom webe problém alebo máte otázku, napíšte nám cez stránku Kontakt. Uveďte adresu webu a ideálne aj čas požiadaviek z vašich záznamov.