Kostenloses SEO-Tool · Technische SEO
Robots.txt-Tester und Validator
Lesen Sie die robots.txt einer Website wie Suchmaschinen: ob Googlebot und KI-Crawler sie crawlen dürfen, welche Sitemaps sie angibt und ob ein von Ihnen gewählter Pfad erlaubt ist.
- BESTANDEN GooglebotDarf die Startseite crawlen
- WARNUNG /blog/Für jeden Crawler gesperrt
- HINWEIS KI-CrawlerGPTBot und CCBot gesperrt
- HINWEIS Crawl-delayVon Google ignoriert
- BESTANDEN SitemapEine Sitemap angegeben
Was analysiert der kostenlose Robots.txt-Tester?
-
1
Verfügbarkeit
Ob /robots.txt mit 200 oder 404 antwortet. Serverfehler lassen Google das Crawling der gesamten Website pausieren.
-
2
Googlebot
Ob der Crawler von Google Ihre Startseite abrufen darf – der teuerste Fehler, den eine robots.txt machen kann.
-
3
Beliebiger Pfad, beliebiger Bot
Geben Sie einen Pfad und einen User-Agent ein, um zu sehen, welche Regel gilt – mit derselben Longest-Match-Logik wie bei Google.
-
4
KI-Crawler
Welche bekannten KI-Trainings- und KI-Such-Bots gesperrt sind, damit Sie bewusst entscheiden können.
-
5
Sitemaps
Sitemap-Zeilen und ob es absolute URLs sind, die Suchmaschinen nutzen können.
-
6
Syntax und Limits
Zeilen, die Google nicht versteht, Regeln, die es ignoriert wie Crawl-Delay und noindex, und das Größenlimit von 500 KiB.
So richten Sie die robots.txt ein
-
1
Im Stammverzeichnis ausliefern
Reiner Text unter /robots.txt auf jedem Host, mit Antwort 200 – oder 404, wenn Sie keine Regeln haben.
-
2
Crawling sperren, nicht Indexierung
Um eine Seite aus den Ergebnissen auszublenden, erlauben Sie das Crawling und fügen stattdessen noindex hinzu. Meta-Tag-Checker →
-
3
CSS und JavaScript nicht sperren
Google rendert Seiten; gesperrte Dateien können sie für Google kaputt aussehen lassen.
-
4
Regeln konkret halten
Der längste passende Pfad gewinnt, daher kann ein kurzes Disallow mehr sperren als gewollt.
-
5
Sitemap angeben
Fügen Sie eine Sitemap-Zeile mit der vollständigen https://-Adresse hinzu. Sitemap-Finder & -Validator →
-
6
AI-Bots separat entscheiden
Trainings-Crawler und KI-Suchcrawler haben unterschiedliche Namen – sperren Sie nur, was Sie wirklich meinen.
So interpretieren Sie Ihre Ergebnisse
- PROBLEM
- Ein eindeutiger Fehler, der meist eine Korrektur verdient, z. B. ein fehlender Titel oder ein Status ungleich 200.
- WARNUNG
- Kann je nach Seite ein Problem sein, z. B. eine fehlende Beschreibung oder ein fehlendes Canonical oder ein langer Titel.
- BESTANDEN
- Geprüft und sieht gut aus.
- NICHT GEPRÜFT
- Nicht Teil dieser Prüfung oder von der Website blockiert. Der Bericht sagt, was zutrifft – es wird nie als Fehler gezählt.
Robots.txt-Tester vs. Website Audit vs. SEO Monitor
Robots.txt-Tester
Eine URL · kostenlos · ohne Konto
Welche Crawler – Suchmaschinen und KI-Bots – Ihre Website crawlen dürfen; testen Sie beliebige Pfade.
Sie sind hierWebsite-Audit
Viele Seiten · kostenloser Schnell-Crawl
Crawlt eine begrenzte Anzahl von Seiten und gruppiert Probleme über Ihre Website hinweg, etwa doppelte Titel und mögliche verwaiste Seiten.
Website-Audit starten →SEO-Monitor
Verbundene Daten · Konto
Nutzt Ihre Search Console und GA4, um Klicks, Suchanfragen und Veränderungen über die Zeit zu verfolgen.
SEO Monitor entdecken →FAQ
Häufig gestellte Fragen
Über den Robots.txt-Tester.
01
Entfernt das Sperren eine Seite aus Google?
Nein. robots.txt verhindert das Crawling, nicht die Indexierung. Um eine Seite aus den Ergebnissen herauszuhalten, erlauben Sie das Crawling und fügen Sie noindex hinzu.
02
Sollte ich KI-Crawler sperren?
Das entscheiden Sie. Das Sperren von Trainings-Bots hält Inhalte aus künftigen Modellen heraus; das Sperren von KI-Such-Bots hält Sie auch aus deren Antworten heraus.
03
Wo muss die robots.txt liegen?
Im Stammverzeichnis jedes Hosts: https://example.com/robots.txt. Jede Subdomain braucht eine eigene Datei; eine Datei in einem Ordner wird ignoriert.
04
Was, wenn die robots.txt einen Serverfehler liefert?
Google wertet eine 5xx-Antwort als „nichts crawlen“ und pausiert das Crawling der Website. Ein 404 ist in Ordnung: Es bedeutet, dass es keine Regeln gibt.
05
Unterstützt Google Crawl-Delay?
Nein. Google ignoriert Crawl-Delay. Einige andere Suchmaschinen lesen es noch.
06
Welche Regel gewinnt, wenn zwei passen?
Die spezifischste – die Regel mit dem längsten passenden Pfad. Sind Allow und Disallow gleich lang, gewinnt Allow.
07
Ist es kostenlos?
Ja. Ein Konto ist nicht nötig. Wir begrenzen, wie oft ein Besucher Prüfungen starten kann, damit die Tools für alle schnell bleiben.
