Hast du KI ausgesperrt, ohne es zu wissen?
Du arbeitest an deiner Sichtbarkeit in KI-Systemen. Du schreibst Artikel, beantwortest Fragen, achtest auf Struktur. Und trotzdem wirst du in ChatGPT oder Perplexity nicht genannt.
Bevor du weiter an Inhalten arbeitest, lohnt ein Blick auf eine Ebene darunter. Es gibt eine Einstellung auf deiner Website, die darüber entscheidet, ob KI-Systeme deine Webseiten überhaupt lesen dürfen. Viele Selbstständige haben sie irgendwann gesetzt. Oder jemand hat sie für sie gesetzt. Und seitdem nie wieder hingesehen.
Was dich in diesem Artikel erwartet:
Wie du in zehn Sekunden prüfst, ob deine Website für KI-Systeme erreichbar ist. Warum eine Entscheidung aus dem Jahr 2023 heute anders wirkt als damals gedacht. Und ein zweiter Test, der zeigt, ob deine Inhalte für Maschinen überhaupt sichtbar sind.
Die Entscheidung, an die sich niemand erinnert
Im Sommer 2023 kündigte OpenAI an, mit einem eigenen Crawler Inhalte für das Training von Sprachmodellen zu sammeln. Große Verlage sperrten diesen Zugriff. Website-Baukästen zogen nach und bauten Schalter ein, mit denen sich KI-Crawler blockieren lassen.
Viele Selbstständige haben sich damals genauso entschieden. Der Gedanke dahinter war nachvollziehbar: Meine Texte sind meine Arbeit, sie sollen kein kostenloses Trainingsmaterial sein.
Seitdem haben sich die Systeme verändert, die Entscheidung ist geblieben. Und sie wirkt heute anders.
Training und Suche sind zwei verschiedene Dinge
Der Punkt, an dem die meisten Anleitungen vorbeigehen: KI-Anbieter nutzen mehrere Crawler mit unterschiedlichen Aufgaben.
OpenAI trennt nach eigener Dokumentation den GPTBot für das Training, den OAI-SearchBot für die Suche und ChatGPT-User für Abrufe, die ein Nutzer gerade ausgelöst hat. Anthropic unterscheidet ClaudeBot, Claude-SearchBot und Claude-User. Perplexity nutzt PerplexityBot und Perplexity-User.
Das Sperren des Trainings-Bots sperrt den Such-Bot desselben Anbieters nicht automatisch mit. Umgekehrt gilt: Wenn deine Website pauschal alles blockiert, was nach KI aussieht, betrifft das auch die Bots, die Inhalte für eine konkrete Antwort abrufen. Und genau diese Bots holen den Text, aus dem am Ende zitiert wird.
Wer den Zugriff komplett gesperrt hat, verschwindet nicht zwangsläufig ganz. Nach den Angaben von OpenAI für Publisher können Links und Seitentitel unter bestimmten Umständen weiterhin erscheinen. Was fehlt, ist der Inhalt.
Der Zehn-Sekunden-Test
Du brauchst dafür kein Tool und kein technisches Vorwissen.
Tipp deine Domain in die Adresszeile deines Browsers und häng /robots.txt an. Bei mir wäre das brittahaenel.de/robots.txt. Enter drücken.
Was du siehst, ist eine schlichte Textdatei. Sie steht auf jeder Website und sagt Crawlern, welche Bereiche sie abrufen dürfen. Such nach Zeilen, in denen Disallow: / steht, und sieh dir an, welcher Bot darüber genannt wird.
Namen, auf die es ankommt: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, anthropic-ai, PerplexityBot, CCBot, Google-Extended.
Steht hinter einem dieser Namen ein Disallow: /, ist dieser Zugriff gesperrt. Findest du keinen dieser Namen, ist alles offen. Das ist der Normalzustand, wenn nie jemand etwas geändert hat.
Prüf das auch dann, wenn du sicher bist, dass du nichts eingestellt hast. Wer die Website hat bauen lassen, weiß häufig nicht, welche Häkchen damals gesetzt wurden.
Wenn du etwas findest
Wo der Schalter sitzt, hängt von deinem System ab. Das Prüfen ist überall gleich, das Ändern ist es nicht.
Bei Squarespace liegt die Einstellung unter Einstellungen und dann Crawlers. Es ist eine einzelne Checkbox, die eine feste Liste von über zwanzig Bots auf einmal betrifft. Eine Einzelauswahl gibt es dort nicht. Standardmäßig ist sie nicht aktiviert.
Bei WordPress hängt es davon ab, welches SEO-Plugin im Einsatz ist. Yoast und Rank Math bringen jeweils eigene Einstellungen für die robots.txt mit. Bei Wix und Jimdo findest du die Steuerung in den SEO-Einstellungen.
Bevor du etwas änderst, triff die Entscheidung bewusst. Es gibt gute Gründe, Trainings-Crawler auszusperren, besonders wenn du eigene Texte oder Kursinhalte veröffentlichst. Es gibt ebenso gute Gründe, Such-Crawler zuzulassen, wenn du in KI-Antworten vorkommen möchtest. Wichtig ist, dass du weißt, was du entschieden hast, und warum.
Du willst wissen, wo du in KI-Antworten tatsächlich stehst?
Im KI-Sichtbarkeits-Mentoring bauen wir eine feste Testumgebung auf, definieren zehn kaufnahe Fragen und werten über sechs Wochen aus, wann du als Quelle auftauchst und wann dein Name genannt wird. Am Ende steuerst du das selbst.
Der zweite Test: Was bleibt ohne JavaScript?
Die zweite Frage betrifft nicht den Zugang, sondern die Lesbarkeit.
Eine Server-Log-Analyse von Vercel und MERJ aus dem Dezember 2024 hat untersucht, ob KI-Crawler JavaScript ausführen. Allein beim GPTBot wurden über 500 Millionen Abrufe betrachtet. In keinem Fall wurde eine JavaScript-Ausführung festgestellt. Für die Crawler von Anthropic, Perplexity, Meta und ByteDance galt dasselbe.
Zur Einordnung gehört dazu: Die Untersuchung ist inzwischen einige Zeit alt, und die Anbieter bestätigen ihr Verhalten nicht offiziell. Es ist eine gut belegte Arbeitshypothese, keine Herstellerangabe.
Praktisch heißt das: Alles auf deiner Website, was erst durch JavaScript entsteht, ist für diese Crawler möglicherweise nicht vorhanden. Und das fällt dir bei Google nicht auf, weil der Googlebot rendert. Deine Seite rankt, die Zahlen stimmen, und der zitierbare Text fehlt trotzdem.
So testest du es: Schalte JavaScript in den Browser-Einstellungen ab und ruf deine Startseite, dein wichtigstes Angebot und einen Blogartikel auf. Sieh dir an, was verschwindet.
Bleiben Überschriften, Fließtext und Links stehen, ist die Grundlage in Ordnung. Bleibt die halbe Seite leer, hast du eine konkrete Frage an deinen Entwickler oder deinen Anbieter. Die Antwort musst du nicht selbst kennen. Den Befund solltest du haben.
Was du danach wieder zur Seite legen kannst
Zwei Dinge, die derzeit viel diskutiert werden und die du getrost nach hinten schieben darfst.
Die Datei llms.txt gilt als Vorschlag ohne bestätigten Nutzen. Google gibt für die Darstellung in AI Overviews und im AI Mode an, dass keine zusätzlichen maschinenlesbaren Dateien und kein besonderes Markup nötig sind. Es gelten die üblichen Grundlagen.
Strukturierte Daten nach Schema.org sind sinnvoll, weil sie beim Verständnis deiner Seiten und deiner Person helfen. Sie sind keine Eintrittskarte. Wer widersprüchliche Angaben auf der Website hat, löst das nicht durch zusätzlichen Code.
Häufige Fragen
Ich habe die Sperre damals bewusst gesetzt. War das falsch?
Nein. Es war eine Entscheidung mit den Informationen von damals. Heute weißt du, dass die Sperre auch die Bots betrifft, die Inhalte für konkrete Antworten abrufen. Mit diesem Wissen kannst du die Entscheidung neu treffen.
Halten sich die Anbieter überhaupt an die robots.txt?
Anthropic gibt an, dass alle drei eigenen Bots die Datei befolgen. OpenAI und Perplexity weisen darauf hin, dass das für nutzerausgelöste Abrufe nicht zwingend gilt. Eine Garantie in beide Richtungen gibt es nicht.
Reicht es, den Zugriff freizugeben, damit ich genannt werde?
Nein. Erreichbarkeit ist die Voraussetzung, nicht das Ergebnis. Wer technisch nicht erreichbar ist, taucht in keiner Antwort auf. Wer erreichbar ist, muss trotzdem inhaltlich überzeugen.
Wie oft sollte ich das prüfen?
Einmal gründlich, danach bei jedem größeren Umbau der Website und bei jedem Wechsel des Anbieters. Die Namen der Bots ändern sich mehrmals im Jahr, die Grundeinstellung bleibt meistens stabil.
Wo finde ich verlässliche Listen der Bot-Namen?
In den Dokumentationen der Anbieter selbst. Alles andere ist eine Momentaufnahme, die schnell veraltet.
Fazit:
Ich sehe bei vielen Selbstständigen, dass die Arbeit an der Sichtbarkeit ganz oben beginnt. Bei den Texten, bei der Struktur, bei den Fragen, die beantwortet werden sollen. Das ist die richtige Arbeit, und sie ist die anspruchsvollere von beiden.
Sie läuft nur ins Leere, wenn die Ebene darunter zu ist.
Zehn Sekunden für die robots.txt. Fünf Minuten für den JavaScript-Test. Danach weißt du, ob deine Inhalte überhaupt ankommen können. Und kannst dich wieder dem widmen, worauf es ankommt.
Du möchtest wissen, wie KI-Systeme dich heute einordnen?
Im kostenlosen Kennenlerngespräch klären wir in 30 Minuten, wo du stehst und was der sinnvolle nächste Schritt ist. Erst dann entscheiden wir, ob eine Zusammenarbeit passt.
Liebe Grüße
Britta
Du möchtest mehr über mich erfahren? Dann lies auch:
Digitale Standortbestimmung: Weißt du, was KI-Systeme über dich wissen?
Britta Hänel ist Strategin für digitale Markenauftritte und zertifizierte Digital Marketing Managerin mit Spezialisierung auf SEO und Content-Management. Als Squarespace Circle Gold Member setzt sie ihre Strategien direkt in der Umsetzung um. Mit über 35 Jahren Erfahrung in Vertrieb, Marketing und Kommunikation begleitet sie Solopreneure und Selbstständige 40+ in der DACH-Region dabei, digital so wahrgenommen zu werden, wie sie tatsächlich arbeiten. Sie lebt und arbeitet in Ostfriesland, gemeinsam mit ihrem Labrador Frieda.
