Was ist ein Crawler? Crawling und Indexierung einfach erklärt

Was ist ein Crawler?

Ein Web-Crawler ist ein Programm, das URLs im Web abruft, Inhalte verarbeitet und Links zu weiteren URLs entdeckt. Suchmaschinen setzen Crawler ein, damit ihre Systeme neue oder veränderte Seiten finden können. Der Crawler von Google Search heißt Googlebot.

Wichtig ist die Reihenfolge: Ein Crawler kann eine Seite finden und abrufen, ohne dass diese Seite später im Suchindex landet. Und eine indexierte Seite kann bei einer konkreten Suche trotzdem nicht sichtbar sein. Wer technische SEO-Probleme untersucht, sollte diese drei Fragen daher nie vermischen.

Wie Crawling, Indexierung und Ranking zusammenhängen

Google beschreibt die Suche als Prozess aus Crawling, Indexierung und dem Bereitstellen von Ergebnissen. Diese Begriffe werden oft synonym verwendet, lösen aber unterschiedliche Aufgaben.

Crawling: Eine URL wird abgerufen

Beim Crawling ruft Googlebot eine URL ab. Dabei können HTTP-Status, Weiterleitungen, JavaScript-Ressourcen und interne Links eine Rolle spielen. Der Abruf ist keine Qualitätsauszeichnung: Er sagt zunächst nur, dass Google die Adresse erreichen und prüfen konnte.

Indexierung: Der Inhalt wird eingeordnet

Nach dem Abruf kann Google die Seite verarbeiten. Hierzu gehören unter anderem der sichtbare Inhalt, die technische Erreichbarkeit und die Frage, ob die Seite indexiert werden darf. Eine URL mit noindex kann Google zwar crawlen, soll aber nicht in den Suchindex aufgenommen werden. Das ist ein Grund, warum robots.txt und noindex keine austauschbaren Werkzeuge sind.

Ranking: Eine Seite wird für eine Suche ausgewählt

Beim Ranking bewertet Google, welche indexierten Seiten eine Anfrage am hilfreichsten beantworten. Relevanz, Nutzbarkeit und weitere Signale werden dabei im Kontext der Anfrage betrachtet. Eine Seite muss also nicht nur erreichbar sein, sondern eine klare Aufgabe erfüllen und in die restliche Website passen.

Wie Google neue URLs findet

Ein Crawler beginnt nicht bei jeder URL von vorn. Er arbeitet mit einem Bestand bekannter Adressen und entdeckt neue Ziele über Verweise. Für eine Website sind drei Wege besonders relevant:

• Interne Links: Ein Link aus Navigation, Kategorie oder passendem Fließtext hilft Googlebot und Menschen, eine Seite zu finden und ihren Zusammenhang zu verstehen.
• XML-Sitemaps: Sie sind eine Liste von URLs, die du Suchmaschinen zur Entdeckung bereitstellst. Eine Sitemap ersetzt keine sinnvolle Verlinkung, sie ergänzt sie.
• Externe und bereits bekannte Verweise: Auch Links von anderen Websites oder zuvor bekannte URLs können zu einem erneuten Abruf führen.

Für die Praxis ist der interne Linkgraph der steuerbarste Teil. Eine wichtige Leistungsseite oder ein Ratgeber sollte nicht nur in einer Sitemap stehen, sondern über thematisch passende Seiten erreichbar sein. Verwaiste Seiten zeigen, was passiert, wenn genau diese Verbindung fehlt.

Was du beim Crawling tatsächlich steuern kannst

Du kannst Google nicht zu einer bestimmten Crawl-Frequenz zwingen. Du kannst jedoch unnötige Hürden entfernen, die wichtigsten URLs sauber signalisieren und technische Anweisungen passend einsetzen.

Wichtige Seiten intern erreichbar machen

Jede URL mit Suchpotenzial braucht einen nachvollziehbaren Platz in der Informationsarchitektur. Verlinke sie von passenden Hub- und Detailseiten, nicht nur im Footer. Das macht die Seite für Besucher leichter auffindbar und bietet Google Kontext. Bei größeren Websites gehört die Linkstruktur in eine strukturierte technische Prüfung.

XML-Sitemap aktuell halten

Nimm kanonische, indexierbare URLs in die Sitemap auf. Weiterleitungen, Fehlerseiten, noindex-URLs oder Parameterseiten gehören in der Regel nicht hinein. Google erklärt in seiner Sitemap-Dokumentation, wie Sitemaps als Hinweis zur Entdeckung eingesetzt werden.

robots.txt und noindex korrekt trennen

Mit robots.txt gibst du Crawlern Regeln für Abrufe. Mit einer noindex-Anweisung teilst du Google mit, dass eine abrufbare Seite nicht in den Suchergebnissen erscheinen soll. Blockierst du eine URL ausschließlich per robots.txt, kann Google die noindex-Anweisung auf der Seite nicht lesen. Die Google-Dokumentation zu robots.txt erläutert diese Grenze ausdrücklich.

So prüfst du Crawling-Probleme ohne Rätselraten

Beginne immer mit einer konkreten URL und einer konkreten Frage: Ist sie erreichbar? Darf sie indexiert werden? Ist sie intern verlinkt? Erst danach lohnt sich eine breitere Analyse. Die Search Console zeigt für geprüfte URLs unter anderem Indexierungsstatus und letzte Crawl-Informationen. Bei vielen URLs liefern Server-Logs ein realistischeres Bild davon, was Googlebot tatsächlich abruft.

• URL abrufen: Liefert die kanonische Adresse einen sinnvollen HTTP-Status und keine Kette unnötiger Weiterleitungen?
• Indexierungsregeln prüfen: Ist die Seite versehentlich mit noindex, Canonical auf eine andere Seite oder einer Login-Hürde versehen?
• Interne Links prüfen: Gibt es mindestens einen sinnvollen, crawlbaren Link aus einem passenden Kontext?
• Sitemap abgleichen: Steht die kanonische, indexierbare URL in der Sitemap – und nur dort?
• Logs bei Skalierung auswerten: Bei großen Websites zeigt eine Log-File-Analyse, welche URLs Googlebot wirklich abfragt.

Wann Crawl-Budget relevant wird

Bei einer kleinen, gut verlinkten Website ist es selten sinnvoll, jedes Crawl-Ereignis zu optimieren. Komplexer wird es bei sehr großen Websites, vielen filterbaren URLs oder häufig veränderten Beständen. Dann können endlose Parameter, dünne Duplikate und fehlerhafte interne Links die Aufmerksamkeit des Crawlers in die falsche Richtung lenken.

Das heißt nicht, dass jede Website ein Crawl-Budget-Projekt braucht. Entscheidend ist, ob wichtige Seiten verzögert entdeckt oder aktualisiert werden. Unser Glossar zu Crawl-Budget hilft bei der Einordnung; Googles eigene Dokumentation für große Websites setzt ebenfalls bei Skalierung und Serverlast an.

Fazit: Crawler brauchen eine klare Website

Ein Crawler ist kein magischer Qualitätsprüfer. Er folgt erreichbaren Wegen, verarbeitet das, was er abrufen kann, und liefert damit die Grundlage für Indexierung und Ranking. Die wirksamste technische Grundlage bleibt deshalb überraschend einfach: wichtige Seiten klar intern verlinken, die Sitemap sauber halten und Indexierungsregeln bewusst einsetzen.

Wenn wichtige URLs trotzdem nicht im Index erscheinen oder Sichtbarkeit verlieren, sollte die Analyse nicht bei einem einzelnen Tool-Signal enden. Dann lohnt eine strukturierte technische Prüfung statt einer Reihe zufälliger Änderungen.

Häufige Fragen zu Crawlern

Was ist ein Web-Crawler?

Ein Web-Crawler ist ein Programm, das URLs abruft und Links zu weiteren URLs entdeckt. Googlebot ist der Crawler von Google Search. Der Abruf allein bedeutet noch nicht, dass eine Seite indexiert oder für eine Suchanfrage sichtbar wird.

Was ist der Unterschied zwischen Crawling und Indexierung?

Crawling bedeutet, dass ein Crawler eine URL abruft. Bei der Indexierung verarbeitet eine Suchmaschine die Inhalte und entscheidet, ob sie in den Suchindex aufgenommen werden. Eine abgerufene URL ist deshalb nicht automatisch indexiert.

Wie findet Google neue Seiten?

Google kann URLs über Links auf bekannten Seiten, XML-Sitemaps und andere bekannte Quellen entdecken. Eine klare interne Verlinkung ist der verlässlichste Weg, wichtige Seiten auffindbar und einordenbar zu machen.

Verhindert robots.txt immer eine Indexierung?

Nein. robots.txt steuert den Abruf, nicht zuverlässig die Anzeige in Suchergebnissen. Soll eine Seite nicht in Google erscheinen, ist eine passende noindex-Anweisung auf einer für Google abrufbaren Seite nötig.