KI-Crawler und robots.txt: Was Sie erlauben und sperren
Welche KI-Crawler Sie in der robots.txt erlauben sollten, von OAI-SearchBot bis ClaudeBot und PerplexityBot, und wie Sie in KI-Antworten sichtbar bleiben.
Wenn Ihr SaaS in Antworten von ChatGPT, Claude oder Perplexity auftauchen soll, erlauben Sie in der robots.txt den Suchcrawler des jeweiligen Anbieters. Wollen Sie Ihre Seiten zusätzlich aus dem Training der Modelle heraushalten, sperren Sie den Trainings-Crawler separat. Beide Aufgaben laufen über unterschiedliche Bots, deshalb können Sie beide Entscheidungen kombinieren.
Wer „KI-Bots blockieren“ hört, knallt oft gleich die ganze Tür zu. Damit verschwinden Sie häufig auch aus der KI-Suche. So trennen Sie die Entscheidung sauber.
Warum betreiben KI-Unternehmen mehr als einen Crawler?
Jedes Unternehmen trennt drei Aufgaben: Inhalte für das Training sammeln, Seiten für Suchantworten indexieren und eine Seite abrufen, weil gerade eine Person danach gefragt hat. Die Dokumentation der Anbieter sagt das so, und die Bot-Namen folgen genau dieser Einteilung.
Behandeln Sie sie als drei Entscheidungen:
- Training. Soll das Unternehmen aus Ihren Seiten lernen dürfen?
- Suchindexierung. Wollen Sie als Quelle in den Antworten vorkommen?
- Abrufe durch Nutzer. Darf der Assistent Ihre Seite öffnen, wenn jemand einen Link einfügt oder nach Ihnen fragt?
Was steht in der Crawler-Dokumentation von OpenAI?
Die Crawler-Übersicht von OpenAI nennt drei User-Agents:
- GPTBot ist für das Training da. Sperren Sie ihn, bekommt OpenAI die Anweisung, Ihre Inhalte nicht zum Trainieren seiner Basismodelle zu verwenden.
- OAI-SearchBot steuert die Suche. Wer sich abmeldet, erscheint nicht in den Antworten der ChatGPT-Suche, kann aber weiterhin als einfacher Navigationslink auftauchen.
- ChatGPT-User bearbeitet Abrufe, die ein Nutzer startet. OpenAI sagt, dass er nicht fürs automatische Crawlen genutzt wird. Weil eine Person die Anfrage auslöst, gelten robots.txt-Regeln dafür womöglich nicht.
Zwei praktische Hinweise aus derselben Dokumentation: Eine Änderung der robots.txt braucht für die Suche rund 24 Stunden, und die Einstellungen für GPTBot und OAI-SearchBot sind unabhängig voneinander. „Suche erlauben, Training sperren“ ist also eine unterstützte Konfiguration.
Was ist mit ClaudeBot von Anthropic?
Der Hilfeartikel von Anthropic zu seinen Crawlern beschreibt ebenfalls drei Bots:
- ClaudeBot sammelt öffentliche Webinhalte, die in das Training einfließen können.
- Claude-SearchBot analysiert Seiten, um die Relevanz der Suchergebnisse zu verbessern. Eine Sperre kann Ihre Sichtbarkeit dort senken.
- Claude-User ruft Seiten ab, wenn jemand Claude eine Frage stellt. Eine Sperre kann die Sichtbarkeit in der vom Nutzer gesteuerten Suche verringern.
Anthropic schreibt, seine Bots halten sich an robots.txt, unterstützen die nicht standardisierte Anweisung Crawl-delay und umgehen keine CAPTCHAs. Die Regeln gelten pro Hostname. Wiederholen Sie sie also auf jeder Subdomain, die Ihnen wichtig ist.
Und Perplexity?
Die Crawler-Dokumentation von Perplexity empfiehlt, PerplexityBot in der robots.txt zu erlauben, wenn Ihre Seite in den Ergebnissen erscheinen soll. Laut Perplexity dient er dazu, Seiten in den Suchergebnissen anzuzeigen, nicht dem Training von Basismodellen. Dazu kommt Perplexity-User, der Seiten abruft, wenn eine Person eine Frage stellt. Weil ein Nutzer den Abruf angestoßen hat, ignoriert dieser Fetcher robots.txt laut Perplexity in der Regel. Perplexity veröffentlicht IP-Bereiche für beide Bots, was praktisch ist, wenn Sie Zugriffe an der Firewall filtern.
Welche Einstellung passt zu einem SaaS-Startup?
Eine Übersicht der drei üblichen Varianten:
| Ziel | Erlauben | Sperren |
|---|---|---|
| In KI-Antworten zitiert werden, Inhalte aus dem Training heraushalten | OAI-SearchBot, Claude-SearchBot, PerplexityBot | GPTBot, ClaudeBot |
| Maximale Reichweite | Alles oben Genannte | Nichts |
| Private oder kostenpflichtige Inhalte | Nichts auf geschützten Pfaden | Alles auf diesen Pfaden |
Für die meisten frühen Produkte würden wir die erste Zeile nehmen. Ein junges SaaS gewinnt weit mehr, wenn es erwähnt wird, als wenn es eine ohnehin öffentliche Marketingseite versteckt. Die Ausnahme ist eine Seite, deren Wert genau die Inhalte sind, etwa eine kostenpflichtige Forschungsbibliothek. Dann sperren Sie das Training und schützen die wertvollen Inhalte hinter einer Anmeldung.
Ein Beispiel für die robots.txt
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Prüfen Sie die aktuellen User-Agent-Namen in der Dokumentation jedes Anbieters, bevor Sie das einfügen. Namen und Produkte ändern sich.
Wie prüfen Sie, ob es funktioniert?
- Öffnen Sie
ihredomain.de/robots.txtund prüfen Sie, ob die Datei mit Status 200 lädt und nicht auf eine Login-Seite umleitet. - Warten Sie einen Tag. OpenAI sagt, die Suche könne rund 24 Stunden brauchen, bis sie eine Änderung der robots.txt übernimmt.
- Schauen Sie in Ihre Server-Logs oder das CDN-Dashboard nach den User-Agent-Kennungen. Besucht Sie ein gesperrter Bot weiter, vergleichen Sie seine IP mit der veröffentlichten Liste des Anbieters.
- Stellen Sie den Assistenten eine Frage, die nur Ihre Seite beantworten kann, und sehen Sie nach, ob sie Sie zitieren.
Die robots.txt ist eine Bitte, kein Schloss. Was Sie auf keinen Fall preisgeben dürfen, gehört hinter eine Anmeldung. Für einen schnellen Check des übrigen technischen Setups probieren Sie die kostenlosen SEO-Tools auf Woodander aus. Weitere Ratgeber finden Sie im Hub für SEO und KI-Sichtbarkeit.
FAQ
Entfernt das Sperren von GPTBot mich aus der ChatGPT-Suche?
Nein. Laut der Dokumentation von OpenAI steuert OAI-SearchBot die Sichtbarkeit in der Suche, und seine Einstellungen sind unabhängig von GPTBot.
Garantiert das Erlauben der KI-Suchbots Zitate?
Nein. Der Zugriff macht Sie nur berechtigt. Klare Seiten, konkrete Fakten und ein echtes Publikum entscheiden weiterhin, ob Sie erwähnt werden.
Halten sich Bots, die Nutzer auslösen, an robots.txt?
Nicht zuverlässig. OpenAI sagt, dass robots.txt für ChatGPT-User womöglich nicht gilt, weil eine Person die Anfrage startet. Perplexity sagt dasselbe über Perplexity-User. Schützen Sie sensible Seiten deshalb lieber durch eine Anmeldung, statt sich auf eine Disallow-Zeile zu verlassen.
Wie oft sollte ich diese Datei prüfen?
Für die meisten Teams reicht ein Quartal. Anbieter fügen Bots hinzu und benennen sie um. Schauen Sie beim Prüfen also in deren Doku und in Ihre Logs.
Wollen Sie, dass Menschen Ihr Produkt in der Zwischenzeit anderswo finden? Tragen Sie es im Discover-Verzeichnis ein und sehen Sie, wer in Ihrem Bereich sonst noch aktiv ist.
