Darf ChatGPT meine Website lesen? Die Frage klingt einfach, hat aber zwei Hälften. Die eine betrifft das Training: Ein KI-Anbieter sammelt Texte, um daraus das nächste Modell zu bauen. Die andere betrifft die Antworten, die ChatGPT, Gemini oder Perplexity heute geben. Dort tauchst du nur auf, wenn das System deine Seite abrufen darf.
Viele Unternehmen wollen beim Training nicht mitmachen, in den Antworten aber genannt werden. Das geht. Die meisten Anbieter schicken dafür getrennte Crawler los, und in der robots.txt lässt sich jeder einzeln sperren. Man muss nur wissen, welcher wofür da ist. Bei Google ist es etwas komplizierter, dazu gleich mehr.
Wer bei dir anklopft
In der robots.txt sprichst du Crawler mit ihrem Namen an. So teilen die großen Anbieter ihre Crawler auf (Stand 2. November 2026, laut den Hilfeseiten der Anbieter):
| Anbieter | Training | Sichtbarkeit in Antworten | Abruf auf Nutzerwunsch |
|---|---|---|---|
| OpenAI (ChatGPT) | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic (Claude) | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | kein Trainings-Crawler genannt | PerplexityBot | Perplexity-User |
| Google Gemini-Apps und Vertex AI | Google-Extended | Google-Extended (Fundierung in Gemini-Apps) | – |
| Google Suche inkl. KI-Übersichten und KI-Modus | – | Googlebot | – |
OpenAI schreibt dazu recht deutlich: Wer GPTBot sperrt, signalisiert nur, dass die Inhalte nicht ins Training sollen. In der ChatGPT-Suche bleibt die Seite trotzdem. Sperrt man dagegen den OAI-SearchBot, taucht sie in den Suchantworten nicht mehr auf. Anthropic trennt bei Claude genauso. Perplexity gibt an, dass sein Crawler keine Inhalte für das Training von KI-Modellen sammelt.
Eine Lücke bleibt. Bittet ein Nutzer ChatGPT oder Perplexity, eine bestimmte Seite aufzurufen, halten sich diese Abrufe laut beiden Anbietern nicht in jedem Fall an die robots.txt.
Google-Extended sperrt mehr, als der Name vermuten lässt
Bei Google heißt der Schalter fürs Training Google-Extended. Klingt harmlos. Laut Googles Dokumentation regelt der Eintrag aber zwei Dinge: ob deine Texte in künftige Gemini-Modelle einfließen, und ob Gemini beim Antworten auf deine Seiten zugreifen darf. Google nennt das Fundierung. Wer Google-Extended sperrt, ist also auch in den Gemini-Antworten raus.
Die KI-Übersichten und der KI-Modus in der Google Suche laufen über den ganz normalen Googlebot. Wer dort nicht als Quelle erscheinen will, hat nur grobe Werkzeuge: nosnippet, max-snippet oder noindex. Die wirken auf die normalen Suchergebnisse gleich mit. Auf dein Ranking hat Google-Extended übrigens keinen Einfluss, schreibt Google.
Ab 2027 soll ein Eintrag für alle reichen
Am 30. Oktober 2026 hat Google angekündigt, ein gemeinsames Signal gegen KI-Training zu unterstützen. Die Idee stammt aus einer Arbeitsgruppe der IETF, der Organisation, die Internet-Standards festlegt. Statt jeden Anbieter einzeln aufzuzählen, schreibt man einen einzigen Eintrag in die robots.txt. Google will das im Laufe von 2027 unterstützen. Laut Search Engine Roundtable planen Bing, OpenAI und Anthropic Ähnliches.
Ein Detail sollte man kennen. Steht das gemeinsame Signal in der robots.txt und Google-Extended wird nicht eigens erwähnt, wertet Google das wie ein gesperrtes Google-Extended. Damit wärst du auch in Gemini nicht mehr sichtbar. Wer das vermeiden will, erlaubt Google-Extended ausdrücklich. Die Einträge der einzelnen Anbieter gelten weiter, man kann also pauschal sperren und für einzelne Anbieter Ausnahmen machen.
Wie der Eintrag genau lautet, steht noch nicht fest, der Standard ist in Arbeit. Bis dahin würden wir nichts auf Verdacht eintragen.
Die robots.txt ist nur ein Teil des Bildes
Selbst wenn du alles richtig einstellst: Die meisten Quellen, auf die sich KI-Antworten stützen, liegen gar nicht auf deiner Website. Muck Rack hat für die Studie „What Is AI Reading?“ (Oktober 2026) ausgewertet, was ChatGPT, Claude, Gemini und Perplexity zitieren. Über 84 Prozent der Quellen waren fremde Medien und Websites, rund 15 Prozent die Seiten der Unternehmen selbst.
Was in Branchenportalen, Verzeichnissen, Bewertungen und Fachartikeln über dich steht, prägt die Antworten also stark mit. Deine eigene Website ist trotzdem die einzige Quelle, die du komplett selbst in der Hand hast. Sie auszusperren wäre ein schlechter Tausch. Unsere eigene robots.txt sperrt deshalb keinen KI-Crawler.
Unsere Empfehlung
Für die meisten Unternehmen, die Leistungen oder Produkte verkaufen, ist die Sache recht klar. Die Such-Crawler sollten rein dürfen, also OAI-SearchBot, Claude-SearchBot, PerplexityBot und der Googlebot. Ob du das Training sperrst, ist eine Grundsatzfrage. Wer es will, sperrt GPTBot und ClaudeBot und verliert dadurch laut OpenAI und Anthropic keine Sichtbarkeit in deren Antworten.
Bei Google-Extended raten wir zur Vorsicht, weil das Sperren die Sichtbarkeit in Gemini kostet. Wer über KI-Assistenten gefunden werden will, lässt den Eintrag besser offen.
Hast du exklusive Inhalte, etwa Fachartikel hinter einer Bezahlschranke oder eine eigene Datenbank, kannst du auch nur einzelne Verzeichnisse sperren. Die ganze Website muss dafür nicht zu.
Kurz prüfen
- Ruf deinedomain.de/robots.txt auf und schau, welche KI-Crawler dort stehen.
- Frag beim Hoster nach, ob Firewall, CDN oder ein Sicherheits-Plugin KI-Crawler blocken. Das steht nicht in der robots.txt und fällt deshalb oft niemandem auf.
- Entscheide, ob das Training gesperrt werden soll.
- Lass Google-Extended offen, wenn dir Gemini wichtig ist.
- Schau 2027 nach, ob das gemeinsame Signal gestartet ist.
Wie wir das bei TIBA CREATIVE handhaben
Wenn wir an der KI-Sichtbarkeit eines Unternehmens arbeiten, prüfen wir zuerst, ob die Such-Crawler der KI-Anbieter die Website überhaupt erreichen, in der robots.txt und auf dem Server. Ob das Training gesperrt wird, entscheidest du. Wir erklären vorher, was welcher Eintrag bewirkt. Genauso wichtig sind einheitliche Firmendaten in allen Verzeichnissen. Wie das geht, steht in unserer NAP-Checkliste.