Bingbot beeinflussen

In manchen Fällen ist es notwendig, die Crawlgeschwindigkeit vom Bingbot zu beeinflussen. Insbesondere wenn es eine beschränkte Bandbreite oder keine Trafficflatrate im Webspacepaket gibt, sollte die Crawlgeschwindigkeit vom Bot angepasst werden.

Sie haben die Möglichkeit über einen Dateieintrag in der robots.txt die maximale Anzahl der Bingbesuche pro Sekunde anzugeben. Als Beispiel: dieser Eintrag teilt allen Bots mit, maximal eine Seite pro Sekunde zu indizieren:

User-agent: *
Crawl-Delay: 1
 

Zudem haben Sie die Möglichkeit in den Bing Webmaster Tools die Crawl-Geschwindigkeit für einzelne Stunden festzulegen.
Sie benötigen hierfür einen kostenlosen Bing Webmastertools Account. Bing Webmastertools

nachfolgend die Einstellungsmöglichkeiten im Bereich Crawlsteuerung:

Dieser Eintrag in einer .htaccess Datei, mit aktivierter Servereinstellung Mod_Rewrite, leitet alle Bingbot Aufrufe an eine beliebige Internetadresse weiter. Diese Methode ist aus SEO Sicht jedoch nicht empfehlenswert.

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^bingbot/.* [OR,NC]
RewriteCond %{HTTP_USER_AGENT} .*bingbot/.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Bingbot/.*
RewriteRule ^(.*)$ https://bing.com [L]