Crawling
Auch: Crawler, Googlebot, Spider, Bot
Crawling ist der Vorgang, bei dem Suchmaschinen mit automatischen Programmen (Crawlern wie dem Googlebot) Webseiten abrufen, Links folgen und neue oder geänderte Inhalte entdecken.
Was ist Crawling?
Google beschreibt die Suche in drei Stufen: Crawling, Indexierung und Bereitstellung der Ergebnisse. Beim Crawling ruft der Googlebot Seiten ab, wie ein Browser, und folgt den Links darauf zu weiteren Seiten. Neue URLs entdeckt Google vor allem über Links und über XML-Sitemaps.
Crawling, Indexierung, Ranking
| Stufe | Was passiert | Typisches Problem |
|---|---|---|
| Crawling | Seite wird abgerufen | durch robots.txt blockiert, Serverfehler |
| Indexierung | Inhalt wird analysiert und gespeichert | noindex, doppelte Inhalte, geringe Qualität |
| Ranking | Seite wird für Suchanfragen ausgewählt | Inhalt passt nicht zur Suchintention |
Crawling erleichtern
- Wichtige Seiten über interne Links erreichbar machen,
- eine aktuelle XML-Sitemap einreichen,
- Serverfehler und lange Weiterleitungsketten vermeiden,
- Links als normale
<a href>-Links umsetzen, damit Google ihnen folgen kann.
KI-Crawler
Neben Suchmaschinen rufen auch KI-Anbieter Websites ab, etwa für Trainingsdaten oder ihre Websuche. Diese Crawler haben eigene Namen (User Agents) und lassen sich in der robots.txt gezielt erlauben oder ausschließen. Wer in KI-Antworten erscheinen möchte, sollte die Crawler der Suchfunktionen nicht blockieren.
Häufige Fragen
Wie oft crawlt Google meine Website?
Das hängt von Größe, Aktualisierungen und Bedeutung der Website ab. Den Crawling-Statistik-Bericht finden Sie in der Search Console.
Kann ich das Crawlen einer neuen Seite beschleunigen?
Ja, über die URL-Prüfung in der Search Console und indem Sie die Seite intern verlinken.