Fragen und Antworten

Wie kann ich meine Webseiten mit dem Techaro BotStopper vor unerwünschten Crawlern schützen?

Für Nutzer:innen mit einem eigenen Webserver bieten wir den Techaro BotStopper (auch bekannt als "Anubis") als zusätzlichen Schutz vor unerwünschten automatisierten Zugriffen an. Verfügbar ist der Dienst ab dem Tarif Pro.B sowie für Reseller.Dedicated 100 und Reseller.Dedicated 500-Verträge.

Der Techaro Botstopper soll insbesondere aggressive Web-Crawler abwehren, die Webseiten automatisiert in großer Zahl abrufen und sich dabei teilweise wie normale Webbrowser verhalten. Solche Zugriffe können erhebliche Serverressourcen beanspruchen und dadurch die Geschwindigkeit oder Erreichbarkeit der auf dem Server betriebenen Webseiten beeinträchtigen.

Wie funktioniert der Techaro BotStopper?

Beim ersten Aufruf einer geschützten Webseite prüft der BotStopper, ob der zugreifende Browser eine kleine JavaScript-Rechenaufgabe lösen kann. Während dieser Prüfung wird für kurze Zeit eine Zwischenseite angezeigt, wie man sie auch von anderen Diensten kennt. Nach erfolgreicher Prüfung wird der Besucher automatisch zur gewünschten Webseite weitergeleitet.

Für weitere Seitenaufrufe ist normalerweise keine erneute Prüfung notwendig.

Viele automatisierte Crawler können diese Prüfung nicht erfolgreich durchführen und werden dadurch vom Zugriff abgehalten. Seriöse Suchmaschinen und andere bekannte Dienste sind standardmäßig von der Prüfung ausgenommen, damit beispielsweise die Indexierung durch Suchmaschinen weiterhin möglich ist.

Muss der BotStopper für alle Domains des Servers aktiviert werden?

Nein. Der BotStopper kann sowohl für alle Domains eines Servers als auch gezielt für einzelne Domains aktiviert werden.

Ebenso können einzelne Domains vom Schutz ausgenommen werden. Dadurch lässt sich der BotStopper beispielsweise nur für Webseiten einsetzen, die besonders stark von automatisierten Zugriffen betroffen sind.

Gibt es Nachteile oder Einschränkungen?

Da der BotStopper JavaScript zur Prüfung des Browsers verwendet, muss JavaScript im Browser des (legitimen) Besuchers aktiviert sein. Außerdem kann beim ersten Aufruf einer geschützten Webseite für einen kurzen Moment die Prüfseite des Botstoppers sichtbar sein.

Für Webseiten oder Anwendungen, die von externen Systemen automatisiert per HTTP aufgerufen werden müssen, kann der Schutz ebenfalls hinderlich sein. Solche Domains sollten gegebenenfalls vom BotStopper ausgenommen werden. Wir können bei Bedarf auch Zugriffe von bestimmten IPs whitelisten.

Wie kann ich den BotStopper aktivieren?

Wenn Sie den BotStopper auf Ihrem Server aktivieren möchten, wenden Sie sich bitte an unsere Kundenbetreuung. Teilen Sie uns dabei möglichst mit, ob der Schutz für alle Domains des Servers oder nur für bestimmte Domains eingerichtet werden soll.