Wer wir sind
SerpiosBot ist der Crawler von Serpios, einem Dienst, der die Positionen von Websites in Suchmaschinen verfolgt (betrieben von 4INTERNET, s.r.o.). Für unsere Nutzer prüft er, ob die Seiten, die sie uns genannt haben, noch auf ihre Website verlinken, und auf ihren Wunsch analysiert er die Seite, die für ein von ihnen verfolgtes Keyword in den Suchergebnissen rankt (und zum Vergleich einige Seiten, die darüber stehen). Wenn Sie ihn in Ihren Logs gefunden haben, überwacht jemand bei Serpios einen Link von Ihrer Seite oder vergleicht seine Seite mit Ihrer.
Wie er sich identifiziert
Mozilla/5.0 (compatible; SerpiosBot/1.0; +https://serpios.com/bot)
Mit demselben User-Agent laden wir auch das Icon einer Website (/favicon.ico) herunter, das wir unseren Nutzern neben ihren Projekten anzeigen.
Was er tut
- Er lädt nur genau die Seiten herunter, die ein Nutzer eingegeben hat. Er folgt keinen anderen Links und crawlt nicht die gesamte Website.
- Jede Seite mit einem Link besucht er einmal alle 7 Tage. Wenn sich etwas geändert hat, bestätigt er dies mit einem zweiten Besuch etwa 60 Minuten später. Ein Nutzer kann außerdem eine sofortige Prüfung anfordern.
- Für eine Analyse lädt er die Seite einmal pro Anfrage eines Nutzers herunter, der dafür bezahlt – nicht regelmäßig.
- Er sendet höchstens eine Anfrage gleichzeitig an eine Website und legt zwischen den Anfragen Pausen ein, damit er Ihren Server nicht belastet.
- Bevor er eine Website besucht, liest er deren
robots.txt(höchstens einmal am Tag) und besucht keine Seiten, die dort gesperrt sind. - Er liest höchstens 2 MB HTML, folgt höchstens 5 Weiterleitungen und führt kein JavaScript aus, sendet keine Formulare ab und meldet sich nirgends an.
- Er umgeht keine Schutzmaßnahmen gegen Bots. Wenn eine Website mit einer Challenge (z. B. Cloudflare) oder mit dem Fehler 401, 403 oder 429 antwortet, markieren wir die Seite als nicht überprüft und versuchen nicht, den Schutz zu umgehen.
Was er speichert
Nur das, was wir brauchen, um die Frage „Ist der Link noch da?“ zu beantworten: die Adresse der Seite, den HTTP-Statuscode, die Adresse und den Text des gefundenen Links zur Website des Nutzers, sein rel-Attribut und ob die Seite noindex oder nofollow in ihren Meta-Robots hat. Den Inhalt der Seite speichern und indexieren wir nicht, und wir geben ihn nicht weiter.
Für eine Seitenanalyse speichern wir ihre grundlegenden Merkmale (Title, Meta-Description, Überschriften, Wortanzahl, strukturierte Daten und Ähnliches) und die Auswertung, die nur dem Nutzer angezeigt wird, der sie angefordert hat. Der Text der Seite wird nur zum Erstellen der Auswertung verwendet (auch unser Anbieter für künstliche Intelligenz verarbeitet ihn) und nicht gespeichert.
Wie Sie ihn sperren
Fügen Sie in die robots.txt Ihrer Website ein:
User-agent: SerpiosBot
Disallow: /
Der Crawler bemerkt die Änderung innerhalb eines Tages. Er befolgt auch die Regeln für User-agent: *, wenn Sie keine eigenen für SerpiosBot haben, sowie eine Sperre nur für einen Teil der Website (Disallow: /section/).
Kontakt
Wenn SerpiosBot auf Ihrer Website ein Problem verursacht oder Sie eine Frage haben, schreiben Sie uns über die Seite Kontakt. Bitte geben Sie die Adresse der Website und idealerweise den Zeitpunkt der Anfragen aus Ihren Logs an.