Kdo jsme
SerpiosBot je robot služby Serpios, která sleduje pozice webů ve vyhledávačích (provozovatel 4INTERNET, s.r.o.). Pro naše uživatele kontroluje, zda stránky, které nám zadali, stále obsahují odkaz na jejich web, a na jejich žádost analyzuje stránku, která se zobrazuje ve výsledcích vyhledávání na sledované klíčové slovo (a několik stránek nad ní pro srovnání). Pokud jste ho našli ve svých záznamech, někdo v Serpiosu sleduje odkaz z vaší stránky nebo srovnává svou stránku s vaší.
Jak se představuje
Mozilla/5.0 (compatible; SerpiosBot/1.0; +https://serpios.com/bot)
Stejný User-Agent používáme i při stahování ikony webu (/favicon.ico), kterou uživatelům zobrazujeme u jejich projektů.
Co dělá
- Stahuje pouze konkrétní stránky, které zadal uživatel. Nesleduje další odkazy ani neprochází celý web.
- Každou stránku s odkazem navštíví jednou za 7 dní. Pokud se něco změnilo, ověří to druhou návštěvou přibližně o 60 minut později. Uživatel si může vyžádat i okamžitou kontrolu.
- Pro analýzu stáhne stránku jednou na každý požadavek uživatele, který za ni platí, ne pravidelně.
- Na jeden web posílá nejvýše jeden požadavek najednou a mezi požadavky dělá přestávky, takže váš server nezatíží.
- Před návštěvou webu si přečte jeho
robots.txt(nejvýše jednou denně) a stránky, které zakazuje, nenavštěvuje. - Načte nejvýše 2 MB HTML, sleduje nejvýše 5 přesměrování a nespouští JavaScript, neodesílá formuláře a nepřihlašuje se.
- Ochrany proti robotům neobchází. Pokud web odpoví výzvou k ověření (např. Cloudflare), chybou 401, 403 nebo 429, označíme stránku jako neověřenou a ochranu se nepokoušíme obejít.
Co si ukládá
Jen to, co potřebujeme k odpovědi na otázku „je tam odkaz?“: adresu stránky, stavový kód HTTP, adresu a text nalezeného odkazu na web uživatele, jeho atribut rel a to, zda má stránka v meta robots noindex nebo nofollow. Obsah stránky neukládáme, neindexujeme a nikomu dál neposkytujeme.
U analýzy stránky si uložíme její základní údaje (title, meta description, nadpisy, počet slov, strukturovaná data a podobně) a hodnocení, které zobrazíme pouze uživateli, který si analýzu vyžádal. Text stránky použijeme jen k napsání hodnocení (zpracovává ho i náš dodavatel umělé inteligence) a neukládáme ho.
Jak ho zablokovat
Přidejte do souboru robots.txt na svém webu:
User-agent: SerpiosBot
Disallow: /
Robot změnu zaznamená nejpozději do jednoho dne. Respektuje také pravidla pro User-agent: *, pokud pro SerpiosBot žádná nemáte, a zákaz jen pro část webu (Disallow: /sekce/).
Kontakt
Pokud SerpiosBot na vašem webu způsobuje problém nebo máte dotaz, napište nám přes stránku Kontakt. Uveďte prosím adresu webu a ideálně i čas požadavků z vašich záznamů.