Die Datei robots.txt

Sie lesen in Ihrer Statistikauswertung, dass die Datei robots.txt nicht gefunden wurde?

Diese Datei wird von den sogenannten robots, crawler oder spider der Suchmaschinen aufgerufen. In dieser Datei können Sie den robots verbieten Teilbereiche Ihrer Webpräsenz zu durchforsten und zu archivieren.

Erzeugen Sie eine einfache Textdatei (*.txt) mit folgendem Inhalt:

User-agent: *
Disallow: /geheim/
Disallow: /secret/topsecret/

Hinter User-agent: können Sie den Namen des robots, spider angeben, den Sie von Teilbereichen aussperren wollen. Wenn Sie einen * setzen gilt es für alle. Die Ordner oder Verzeichnisse die nicht durchsucht werden sollen geben Sie einzeln in einer Zeile mit
Disallow: /verbotener_Ordner/ an.

Wenn Sie nichts zu verbergen haben steht in der Datei robots.txt nur
User-agent: *

Laden Sie die Datei robots.txt in das Haupt-, Stamm- oder Wurzelverzeichnis Ihrer Web-Präsenz.

Ob sich die robots auch daran halten, kann ich Ihnen nicht garantieren. Sehr viele Suchmaschinen halten sich daran.

Wenn Sie wissen wollen, wer Sie da besucht, schauen Sie in die Liste der häufigsten robots.

SyntaxCeck für die robots.txt Datei.