robots.txt
Auch: Robots Exclusion Protocol, Robots-Datei
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, mit der Betreiber festlegen, welche Bereiche Crawler wie der Googlebot abrufen dürfen. Sie steuert das Crawling, nicht die Indexierung.
Was ist die robots.txt?
Die Datei liegt immer unter /robots.txt, zum Beispiel revier59.de/robots.txt. Crawler lesen sie, bevor sie eine Website abrufen. Google betont, dass die robots.txt kein Mittel ist, um eine Seite aus der Google Suche herauszuhalten: Eine gesperrte URL kann trotzdem im Index erscheinen, wenn andere Seiten auf sie verlinken. Dafür ist noindex da.
Aufbau
Ein einfaches Beispiel:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.beispiel.de/sitemap_index.xml
| Anweisung | Bedeutung |
|---|---|
| User-agent | für welchen Crawler die Regeln gelten (* = alle) |
| Disallow | Pfad, der nicht abgerufen werden soll |
| Allow | Ausnahme innerhalb eines gesperrten Bereichs |
| Sitemap | Adresse der XML-Sitemap |
KI-Crawler steuern
Viele KI-Anbieter haben eigene User Agents, die sich per robots.txt erlauben oder ausschließen lassen. Bedenken Sie: Wer die Crawler einer KI-Suchfunktion blockiert, verringert die Chance, dort als Quelle zitiert zu werden.
Häufige Fehler
Disallow: /aus der Entwicklungsphase bleibt nach dem Livegang stehen,- CSS- oder JavaScript-Dateien werden gesperrt, sodass Google die Seite nicht richtig darstellen kann,
- Seiten werden per robots.txt gesperrt, obwohl sie per noindex entfernt werden sollten.
Häufige Fragen
Hält sich jeder Crawler an die robots.txt?
Seriöse Crawler wie der Googlebot tun das. Die Datei ist aber kein Zugriffsschutz – vertrauliche Inhalte gehören hinter ein Passwort.
Wo teste ich meine robots.txt?
Im robots.txt-Bericht der Google Search Console.