SSL / https in der robots.txt ausschließen

Über SSL indizierte Seiten können in Google und anderen Suchmaschinen Probleme mit doppelten Content, sowie unnötiges indizieren der Webseite und somit Resourcenverschwendung verursachen. Hier eine einfache Methode, den Zugriff von Suchmaschinen auf die eigene Webseite per SSL zu verhindern. Man nehme das Apache-Modul mod_rewrite und verweisst über eine RewriteRule einfach auf eine andere robots.txt Datei, wenn diese per https angefordert wird. Einfach in der .htaccess-Datei folgendes hinzufügen oder neu anlegen, falls nicht vorhanden:

RewriteEngine on
RewriteCond %{HTTPS} on
RewriteRule ^robots.txt$ robots_https.txt


Die Datei robots_https.txt sollte so aussehen, um alle Suchmaschinen-Bots (Googlebot etc.) und Seiten zu verbieten:

User-agent: *
Disallow: /