Was ist eine Log File Analyse?

Definition: Was ist eine Log File Analyse?

Eine Log File Analyse (auch: Server Log Analyse) wertet die Zugriffsprotokoll-Dateien eines Webservers aus, um zu verstehen, wie Suchmaschinen-Crawler — insbesondere Googlebot — eine Website crawlen. Server-Logs zeichnen jeden HTTP-Request auf: welche URL wurde aufgerufen, welcher User Agent, wann, mit welchem Status-Code.

Im Gegensatz zu Tools wie der Google Search Console zeigen Log Files das tatsächliche Crawl-Verhalten in Echtzeit — ungefiltert und vollständig.

Was steht in Server Log Files?

Ein typischer Log-Eintrag enthält:

• IP-Adresse: Wer hat die Anfrage gemacht (z. B. Googlebot-IP)
• Timestamp: Datum und Uhrzeit des Requests
• HTTP-Methode und URL: Welche Seite wurde abgerufen
• Status-Code: 200 (OK), 301 (Redirect), 404 (Not Found), 500 (Server Error)
• User Agent: Welcher Crawler oder Browser hat die Anfrage gestellt
• Übertragene Bytes: Größe der Antwort

Warum ist die Log File Analyse für SEO wichtig?

Mit einer Log File Analyse lässt sich Folgendes herausfinden:

• Welche Seiten crawlt Googlebot häufig — und welche gar nicht?
• Werden 404-Fehler oder Redirects konsistent gecrawlt (Budget-Verschwendung)?
• Gibt es Seiten, die gecrawlt, aber nie indexiert werden?
• Wie verteilt sich das Crawl-Budget auf verschiedene Bereiche der Website?
• Werden neue Seiten zeitnah nach der Veröffentlichung gecrawlt?

Tools für die Log File Analyse

Für die Auswertung von Server-Logs gibt es mehrere Ansätze:

• Screaming Frog Log File Analyser: Dediziertes Desktop-Tool, sehr nutzerfreundlich
• Semrush Log File Analyser: Cloud-basiert, in die SEO-Suite integriert
• Excel / Google Sheets: Für kleinere Log-Dateien mit Pivot-Auswertung
• ELK Stack (Elasticsearch + Kibana): Für Enterprise-Setups mit sehr großen Logs

Wer braucht eine Log File Analyse?

Die Log File Analyse lohnt sich vor allem für:

• Websites mit mehr als 5.000 URLs
• E-Commerce-Shops mit komplexen URL-Strukturen
• Websites nach einem Relaunch (Crawl-Verhalten des neuen Setups prüfen)
• Situationen, in denen Rankings trotz guten Contents einbrechen