__usage_ai-training in der User-Agent-Zeile, beschrieben in einem Einzelentwurf ohne formale Stellung im Standardprozess (IETF Datatracker). Dieser Beitrag zeigt, was das Token regelt, was bis dahin wirkt, wie die Gruppe in die Datei kommt, ohne Suchcrawler zu treffen, und wie Sie die Datei nach jedem Deploy im Blick behalten.Was am 30. Oktober angekündigt wurde
Die Ankündigung ist kurz und in ihren Kernsätzen eindeutig. Website-Betreiber sollen ihre Präferenz zum KI-Training künftig in einem Schritt für mehrere KI-Anbieter ausdrücken können, statt für jeden Entwickler eigene Anweisungen zu pflegen (Google Search Central). Wer das neue Token für ein Nein zum Training nutzt und Google-Extended nicht eigens nennt, den will der ankündigende Anbieter so behandeln, als hätte er Google-Extended gesperrt. Google-Extended ist dessen eigene Trainingskennung, die es seit 2023 gibt (Google Search Central).
Today, we're announcing our plans to support a shared AI training control in robots.txt.
— Google Search Central Blog, „Supporting a shared AI training control for websites“, 30. Oktober 2026
Zwei Punkte gehören zur Einordnung. Erstens bleiben die bisherigen anbieterspezifischen Kennungen bestehen und wirken neben dem gemeinsamen Signal weiter. Zweitens ist das Ganze eine Absicht mit Zeitplan, kein Stichtag: Der Anbieter will die Unterstützung zusammen mit anderen KI-Anbietern 2027 umsetzen und über den Fortschritt berichten (Google Search Central). Die Crawler-Dokumentation desselben Anbieters nennt Anfang 2027 (Google Crawling Infrastructure).
Das Token stammt aus dem Internet-Draft draft-kelley-aipref-training-preference-signal-00. Laut Datatracker ist das ein Einzelentwurf, der nicht von der IETF getragen wird und keine formale Stellung im Standardprozess hat (IETF Datatracker). Internet-Drafts gelten höchstens sechs Monate und können jederzeit geändert, ersetzt oder zurückgezogen werden; dieser läuft am 3. Mai 2027 aus (IETF Datatracker). Token-Name, Regeln und Zeitplan können sich bis zur Unterstützung also noch ändern.
So funktioniert das Policy-Token
Der Entwurf führt keine neue Anweisung und keine neue Grammatik ein. Ein Betreiber schreibt eine gewöhnliche robots.txt-Gruppe, deren User-Agent-Zeile keinen Crawler bezeichnet, sondern ein Policy-Token für einen Nutzungszweck (IETF Datatracker). Pfadsprache, Vorrang der längsten Übereinstimmung und Gruppenaufbau bleiben so, wie RFC 9309 sie für das Robots Exclusion Protocol festlegt. Parser, die das Token nicht kennen, übergehen die Gruppe wie die eines unbekannten Crawlers. Das Beispiel aus dem Entwurf:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Gelesen wird die Gruppe wie jede andere: Wo der Pfad gesperrt ist, hat der Betreiber eine Präferenz gegen KI-Training ausgedrückt, wo er erlaubt ist, eine Präferenz dafür. Im Beispiel gilt also ein Nein für die ganze Website und ein Ja für das Pressematerial unter /press-kit/. Fehlt eine Gruppe mit dem Token ganz, ist keine Präferenz ausgedrückt (IETF Datatracker, Abschnitt 4.2). Vier Regeln aus dem Entwurf sind in der Praxis entscheidend:
- Die Gruppe für alle zählt nicht. Eine Gruppe mit
User-agent: *darf ausdrücklich nicht als Treffer für das Token gelten (IETF Datatracker, Abschnitt 4.2). Ein pauschalesDisallow: /für alle Crawler drückt deshalb keine Trainingspräferenz aus, es sperrt aber die Suche. - Groß- und Kleinschreibung egal, Schreibweise nicht. Das Token wird wie jede Produktkennung ohne Rücksicht auf Groß- und Kleinschreibung, sonst aber exakt verglichen (IETF Datatracker, Abschnitt 4.1).
__usage_ai_trainingmit Unterstrich statt Bindestrich ist ein anderes Token und drückt nichts aus. - Kein Befehl für das Crawling. Ein Anbieter darf die Präferenz nutzen, um Abrufe zu sparen, muss es aber nicht (IETF Datatracker, Abschnitt 4.4).
- Unabhängig von den Crawler-Regeln. Jeder Crawler liest seine eigene Gruppe weiter wie bisher. Inhaltsnutzung und Crawling-Steuerung stehen in derselben Datei, sind aber voneinander getrennt (IETF Datatracker, Abschnitt 4.3).
Was „KI-Training“ heißt, legt der Entwurf nicht selbst fest. Er übernimmt die Definition aus dem Vokabular-Entwurf der Arbeitsgruppe: die Nutzung eines Inhalts, um die gelernten Parameter eines generativen KI-Modells zu verändern (IETF-Arbeitsgruppe aipref, Vokabular-Entwurf). Das Training von Modellen, die ausschließlich nicht generative Aufgaben erledigen, fällt nicht darunter. Für die Suche sieht das Vokabular eine eigene Kategorie vor; das Token aus der Ankündigung berührt sie nicht.
Training ist nicht Suche: was das Token nicht berührt
Das neue Signal ist eng: Es betrifft genau einen Nutzungszweck. Ob eine Seite gecrawlt, indexiert und in Suchergebnissen gezeigt wird, regeln weiterhin die Gruppen für die Crawler selbst, im Normalfall die Gruppe User-agent: *. Für Google-Extended, die Kennung, auf die der ankündigende Anbieter das neue Signal abbildet, steht in der Dokumentation ausdrücklich, dass sie die Aufnahme in die Websuche nicht beeinflusst und kein Ranking-Signal ist (Google Crawling Infrastructure).
Eine Einschränkung gehört trotzdem auf den Tisch, bevor Sie das Nein setzen. Dieselbe Kennung steuert laut Dokumentation nicht nur das Training künftiger Modellgenerationen, sondern auch das sogenannte Grounding: Inhalte aus dem Suchindex werden einem Modell bei der Anfrage mitgegeben, damit Antworten in den KI-Anwendungen des Anbieters faktentreuer ausfallen (Google Crawling Infrastructure). Die Ankündigung hält fest, dass Websites, die die Kennung ausdrücklich erlauben, in solchen Antworten erscheinen und Klicks erhalten können (Google Search Central). Wer über das gemeinsame Token Nein sagt und die Kennung nicht eigens nennt, sollte damit rechnen, dass dieser Weg in die KI-Antworten des Anbieters mit wegfällt. Das ist eine Abwägung zwischen Inhaltsschutz und KI-Sichtbarkeit, keine technische Frage. Wie sich die Präsenz in KI-Antworten überhaupt messen lässt, zeigt der Beitrag zur Messung der Generative Engine Optimization (GEO).
| Regel in der robots.txt | Wirkung heute | Wirkung nach angekündigter Unterstützung |
|---|---|---|
| User-agent: * mit Disallow: / | sperrt das Crawling für alle Crawler ohne eigene Gruppe, auch für die Suche | unverändert; zählt ausdrücklich nicht als Trainingspräferenz |
| Gruppe je Trainingskennung, etwa Google-Extended | wirkt bei dem Anbieter, der die Kennung dokumentiert | wirkt weiter und geht beim ankündigenden Anbieter dem Token vor |
| Gruppe __usage_ai-training mit Disallow: / | wird von heutigen Parsern als unbekannter Crawler übergangen | Nein zum Training bei teilnehmenden Anbietern, beim ankündigenden Anbieter wie ein Nein für Google-Extended |
Was heute schon wirkt: Kennungen je Crawler
Bis die Unterstützung tatsächlich kommt, wirkt nur, was die Anbieter heute dokumentieren: eigene Kennungen je Crawler oder je Zweck. Google-Extended hat keinen eigenen User-Agent in den Anfragen, sondern wird ausschließlich in der robots.txt als Steuerkennung gelesen (Google Crawling Infrastructure). Andere Anbieter trennen Training und Suche über verschiedene Crawler. So erklärt OpenAI, dass ein gesperrter GPTBot bedeutet, die Inhalte sollen nicht für das Training generativer Basismodelle genutzt werden, während ein eigener Such-Crawler für die Anzeige in Suchergebnissen zuständig ist (OpenAI). Eine robots.txt, die das Training heute bei diesen beiden Anbietern abwählt und die Suche offen lässt, sieht so aus:
# Suche und Indexierung: Gruppe für alle Crawler
User-agent: *
Disallow: /warenkorb/
# KI-Training: je Anbieter eine eigene Gruppe
User-agent: Google-Extended
Disallow: /
User-agent: GPTBot
Disallow: /
Sitemap: https://www.example.com/sitemap.xml
Diese Liste wächst mit jedem Anbieter und ist nur so vollständig wie Ihr letzter Blick in die Dokumentationen. Genau hier setzt das gemeinsame Token an: Es soll die Lücke für Anbieter schließen, die Sie nicht einzeln aufführen. Welche Kennungen verbreitet sind und wie man sie im Zugriffsprotokoll erkennt, zeigt der Beitrag zu llms.txt und KI-Crawlern; wie sich ihre Last messen lässt, steht im Beitrag zum Messen von KI-Crawler-Traffic. Die Gruppen je Crawler müssen Sie nicht von Hand tippen: Der kostenlose robots.txt- und llms.txt-Generator erzeugt sie für die gängigen KI-Crawler. Das neue Token kennt er bislang nicht, die Gruppe dafür ergänzen Sie von Hand.
Die anbieterspezifischen Kennungen funktionieren laut Ankündigung neben dem gemeinsamen Signal weiter (Google Search Central). Der Entwurf sieht vor, dass spezifische Angaben vor allgemeinen gelten, und erlaubt Anbietern, ihre eigenen Kennungen als spezifischer zu behandeln als das Token (IETF Datatracker, Abschnitt 4.5). Bestehende Sperren bleiben also stehen, das Token kommt als Auffangregel dazu.
Welche Haltung zu welcher Website passt
Ob ein Nein zum Training sinnvoll ist, hängt vom Geschäftsmodell ab. Das Token erlaubt Pfadangaben, also auch ein Nein für einzelne Bereiche. Drei typische Ausgangslagen:
Produkt- und Kategorieseiten sollen in KI-Antworten genannt werden. Sinnvoller als ein pauschales Nein ist ein Nein für aufwendige Bereiche wie Ratgeber, über Pfade in der Token-Gruppe.
Der Inhalt ist das Produkt. Ein Nein für die ganze Website mit Ausnahmen für Pressebereiche entspricht dem Beispiel aus dem Entwurf. Ob KI-Antworten dann noch auf die Seite verweisen, gehört in die Abwägung.
Jede Kundenwebsite hat eine eigene robots.txt. Wer das Token für Kunden ergänzt, braucht je Website einen Nachweis, wann die Gruppe live ging, und eine Meldung, wenn sie verschwindet.
Für Ausnahmen gilt die gewohnte Logik der robots.txt: Die Regel mit der längsten Übereinstimmung gewinnt, bei gleichwertigen Regeln soll Allow vorgehen (RFC 9309). Ein Allow: /presse/ neben Disallow: / wirkt deshalb wie erwartet. Ein Allow: /presse ohne Schrägstrich am Ende erfasst dagegen auch einen Pfad wie /presseverteiler-intern/, und der ist damit für das Training freigegeben.
Die neue Gruppe einfügen, ohne Suchcrawler zu treffen
Weil das Token nur eine weitere Gruppe ist, entscheidet seine Lage in der Datei darüber, ob es wirkt wie gedacht. Eine Gruppe besteht nach RFC 9309 aus einer oder mehreren User-Agent-Zeilen und den folgenden Regeln; sie endet erst, wenn nach einer Regel wieder eine User-Agent-Zeile kommt (RFC 9309). Daraus folgen die häufigsten Fehler beim Einfügen:
- Die Token-Zeile direkt unter einer anderen User-Agent-Zeile. Steht
User-Agent: __usage_ai-trainingunmittelbar unterUser-agent: *, bilden beide eine Gruppe. Ein darunter folgendesDisallow: /gilt dann für jeden Crawler ohne eigene Gruppe, auch für Suchmaschinen (RFC 9309). - Eine Sitemap-Zeile als vermeintlicher Trenner. Andere Einträge wie
Sitemap:beenden keine Gruppe (RFC 9309). Google zeigt genau diesen Fall: Zwei User-Agent-Zeilen mit einer Sitemap-Zeile dazwischen gelten als eine Gruppe, beide Crawler trifft das folgendeDisallow: /(Google Crawling Infrastructure). - Leerzeilen trennen nicht. Auch eine Leerzeile beendet nach der Grammatik von RFC 9309 keine Gruppe. Verlässlich trennt nur eine Regel: Hat die vorangehende Gruppe mindestens eine
Allow- oderDisallow-Zeile, beginnt mit der Token-Zeile eine neue Gruppe.
User-agent: *
Disallow: /warenkorb/
User-agent: Google-Extended
Disallow: /
User-agent: GPTBot
Disallow: /
# Auffangregel für alle übrigen Anbieter, die das Token lesen
User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/
Sitemap: https://www.example.com/sitemap.xml
# Falsch: keine Regel zwischen den User-Agent-Zeilen
User-agent: *
User-Agent: __usage_ai-training
Disallow: /
# Ergebnis: nur eine Gruppe, Disallow: / gilt für alle Crawler
Zwei weitere Grenzen: Crawler müssen nach RFC 9309 mindestens 500 Kibibyte (KiB) einer robots.txt auswerten können (RFC 9309), Google wertet bis zu 500 KiB aus und übergeht, was danach steht (Google Crawling Infrastructure). In sehr großen Dateien landet eine ans Ende gehängte Gruppe sonst hinter der Grenze. Außerdem muss die Datei als Klartext in UTF-8 ausgeliefert werden; liefert der Server unter /robots.txt eine HTML-Seite, versucht der Parser, Regeln herauszulesen, und ignoriert den Rest (Google Crawling Infrastructure).
Nach dem Einfügen lohnt ein Blick auf die Gruppenstruktur, bevor die Datei live geht. Der kostenlose Validator für robots.txt und Sitemap lädt die Datei, zerlegt sie in User-Agent-Blöcke mit ihren Regeln und zeigt so, welche Zeilen zusammengehören. Allgemeine Fehlerbilder, vom versehentlichen Disallow: / bis zu gesperrten Ressourcen, behandelt der Beitrag zu typischen robots.txt-Fehlern.
Wann eine Änderung wirkt: Cache, Fehler, Weiterleitungen
Eine Regel in der robots.txt wirkt nicht im Moment des Deploys. Crawler dürfen die Datei zwischenspeichern; RFC 9309 sieht vor, dass eine gespeicherte Fassung nicht länger als 24 Stunden verwendet werden soll, solange die Datei erreichbar ist (RFC 9309). Google speichert die Datei meist bis zu 24 Stunden, bei Zeitüberschreitungen oder Serverfehlern auch länger (Google Crawling Infrastructure). Eine neue Regel braucht also bis zu einen Tag, ein Fehler bleibt ebenso lange in Kraft.
Wichtiger ist, was ein Crawler sieht, wenn die Datei fehlt oder der Server streikt. Beides entsteht typischerweise bei einem Deploy:
| Antwort auf /robots.txt | Folge nach RFC 9309 | Folge bei Google | Folge für die Trainingsregel |
|---|---|---|---|
| Client-Fehler (4xx), etwa 404 nach einem Build ohne Datei | Crawler dürfen auf alle Ressourcen zugreifen | wie eine fehlende robots.txt, keine Crawl-Beschränkung (außer bei 429) | fällt ersatzlos weg, ebenso jede Gruppe je Crawler |
| Server- oder Netzfehler (5xx) | Crawler müssen eine vollständige Sperre annehmen | die ersten 12 Stunden kein Crawling, danach bis zu 30 Tage die letzte gute Fassung | die alte Fassung gilt weiter, die Suche pausiert |
| Weiterleitung | mindestens fünf aufeinanderfolgenden Weiterleitungen folgen | nach fünf Weiterleitungen wie eine fehlende Datei | wirkt nur, wenn das Ziel innerhalb der Kette liegt |
Die Angaben stammen aus RFC 9309, Abschnitte 2.3.1.2 bis 2.3.1.4 (RFC 9309), und aus der Auslegung durch Google (Google Crawling Infrastructure). Für die Trainingsregel ist der erste Fall der heikle. Ein Deploy, der die robots.txt nicht mitliefert, entfernt nicht nur das neue Token, sondern jede Sperre je Crawler, und kein Crawler meldet sich deswegen bei Ihnen. Der zweite Fall trifft die Suche: Antwortet /robots.txt mit einem Serverfehler, stellt Google das Crawling zunächst ein (Google Crawling Infrastructure). Wie leicht so etwas im Release-Ablauf passiert, zeigt das verwandte Muster beim noindex im Deploy.
Die robots.txt nach jedem Deploy überwachen
Eine Regel, die erst 2027 wirkt, wird heute geschrieben und muss bis dahin jeden Deploy, jedes Update des Content-Management-Systems und jeden Hosterwechsel überstehen. Das SEO-Monitoring von XICTRAQ® ruft die robots.txt jeder überwachten Website regelmäßig ab und vergleicht sie mit der zuletzt gespeicherten Fassung. Ändert sich der Inhalt, entsteht im Änderungsprotokoll ein Eintrag mit dem Schweregrad Warnung, der die hinzugefügten und entfernten Zeilen samt Anzahl aufführt, etwa +3 für drei neue Zeilen. So lässt sich nachvollziehen, seit welchem Abruf die Token-Gruppe in der Datei steht und ob ein späterer Deploy sie wieder entfernt hat.
Weicht die abgerufene robots.txt von der vorigen Fassung ab, erscheint ein Eintrag mit Datum und in der Regel mit den hinzugefügten und entfernten Zeilen. Der planbare SEO-Bericht führt Änderungen an der robots.txt mit auf.
Sperrt die Gruppe für alle Crawler die ganze Website, löst XICTRAQ® einen kritischen Alarm aus. Eine eigene Token-Gruppe tut das nicht, eine verschmolzene schon.
Ein API-Check auf /robots.txt prüft den Status 200 und ob die Token-Zeile im Text steht. Schlägt er zweimal in Folge fehl, geht der Alarm über die eingerichteten Kanäle hinaus.
Der Alarm bei Vollsperre arbeitet gruppengenau: Er wertet nur die Gruppe User-agent: * aus und schlägt an, wenn dort Disallow: / ohne Allow: / steht. Damit fängt er den Fall, in dem die Token-Zeile in die Gruppe für alle rutscht, und bleibt still, solange die Trainingsgruppe getrennt steht. Zugestellt wird er über die Kanäle, die Sie in den Benachrichtigungen eingerichtet haben.
Fehlt die Datei ganz, gibt es keine neue Fassung zum Vergleichen, und der Zeilenvergleich bleibt stumm. Dafür ist die Prüfung auf die Token-Zeile da: zwei Zusicherungen, die beide erfüllt sein müssen; die zweite ignoriert wie der Entwurf die Groß- und Kleinschreibung:
[
{ "type": "status_code", "operator": "eq", "value": 200 },
{ "type": "text_contains", "value": "User-Agent: __usage_ai-training" }
]
Für Shops fällt die Ankündigung in eine ungünstige Zeit. Vor der Black Week gehen viele Aktionsseiten und Tests live, und jeder dieser Deploys kann die robots.txt überschreiben. Die Trainingsgruppe ergänzen Sie darum besser getrennt vom Aktions-Release und prüfen den Eintrag im Änderungsprotokoll, bevor der Aktionscode folgt. Wie sich die Tests derselben Woche sauber auswerten lassen, steht im Beitrag zu A/B-Tests in der Black Week.
Was bis 2027 offen ist
Die Ankündigung beschreibt eine Richtung, keinen fertigen Standard. Vier Punkte sind ausdrücklich offen:
- Name und Regeln des Tokens. Der Entwurf liegt in seiner ersten Fassung vor und kann bis zur Unterstützung geändert, ersetzt oder zurückgezogen werden (IETF Datatracker).
- Teilnahme der Anbieter. Wirkung entsteht nur bei Anbietern, die das Token tatsächlich lesen. Die Ankündigung spricht von einer Umsetzung zusammen mit anderen KI-Anbietern, nennt aber keinen davon (Google Search Central).
- Der Rest des Vokabulars. Das Token nutzt nur die Definition für KI-Training; über die übrigen Begriffe des Vokabulars der Arbeitsgruppe wird weiter verhandelt (Google Search Central).
- Durchsetzung. Die technische Durchsetzung von Präferenzen gehört ausdrücklich nicht zum Auftrag der Arbeitsgruppe (IETF-Arbeitsgruppe aipref, Charta). Auch RFC 9309 stellt klar, dass die Regeln der robots.txt keine Zugriffsberechtigung sind (RFC 9309). Das Token ist eine Erklärung, keine Sperre.
In der Arbeitsgruppe aipref liegt mit draft-ietf-aipref-attach ein zweiter Entwurf, der Präferenzen über ein eigenes Feld Content-Usage in der robots.txt und in HTTP-Antworten anhängt (IETF-Arbeitsgruppe aipref, Attach-Entwurf). Das ist ein anderer Mechanismus, den die Ankündigung vom 30. Oktober nicht nennt. Eine Zeile Content-Usage zählt für das angekündigte Signal nicht.
Rechtlich ist das technische Signal nur ein Baustein. Wie ein Nutzungsvorbehalt für Text und Data Mining (TDM) so formuliert wird, dass er urheberrechtlich trägt, behandelt der XICTRON®-Beitrag zum TDM-Vorbehalt für Shops.
Fahrplan: jetzt vorbereiten, 2027 umstellen
- Ziel festlegen. Kein Training, aber Suche: Das ist für viele Betreiber der Ausgangspunkt. Klären Sie zusätzlich, ob Sie in KI-Antworten erscheinen wollen, denn je nach Anbieter hängt das an derselben Kennung wie das Training.
- Bestand erfassen. Welche Gruppen je Crawler stehen heute in der robots.txt, und welche davon betreffen das Training? Der kostenlose KI-Readiness-Check zeigt, welche bekannten KI-Crawler erlaubt oder blockiert sind.
- Token-Gruppe ergänzen. Als eigene Gruppe hinter einer Gruppe mit Regeln, nicht direkt unter einer anderen User-Agent-Zeile, mit Pfadausnahmen nur dort, wo sie gewollt sind.
- Struktur prüfen. Die Datei im Validator in Gruppen zerlegen lassen und kontrollieren, dass
User-agent: *keine neue Sperre bekommen hat. - Getrennt ausliefern. Als eigener kleiner Deploy, nicht im Paket mit Aktions- oder Template-Änderungen.
- Überwachen. Änderungsprotokoll und Alarm bei Vollsperre aktiv halten, dazu die Prüfung auf die Token-Zeile.
- 2027 nachziehen. Den Datatracker auf eine neue Fassung des Entwurfs prüfen und die Ankündigungen der Anbieter verfolgen; ändert sich der Token-Name, die Gruppe anpassen.
Das gemeinsame Token ersetzt bis auf Weiteres keine bestehende Regel. Es kommt als Auffangregel dazu und wirkt frühestens 2027, nur bei Anbietern, die es lesen. Heute braucht es eine robots.txt mit sauber getrennten Gruppen und eine Überwachung, die Änderungen sichtbar macht.
Dieser Beitrag stützt sich auf: Google Search Central Blog, Ankündigung des gemeinsamen Trainingssignals vom 30. Oktober 2026; Google Crawling Infrastructure, „List of Google's common crawlers“ (Abschnitt Google-Extended) und „How Google interprets the robots.txt specification“; IETF Datatracker, draft-kelley-aipref-training-preference-signal-00, Einzelentwurf vom 30. Oktober 2026, gültig bis 3. Mai 2027; IETF-Arbeitsgruppe aipref, Vokabular-Entwurf draft-ietf-aipref-vocab-08, Attach-Entwurf draft-ietf-aipref-attach-05 und Charta der Arbeitsgruppe; RFC 9309, Robots Exclusion Protocol; OpenAI, Overview of OpenAI Crawlers. Abgerufen am 2. November 2026; Produktangaben nach Funktionsstand November 2026.
Was ist das gemeinsame KI-Trainingssignal in der robots.txt?
__usage_ai-training in der User-Agent-Zeile. Ein Disallow drückt je Pfad eine Präferenz gegen KI-Training aus, ein Allow eine dafür. Grundlage ist ein Einzelentwurf ohne formale Stellung im Standardprozess (IETF Datatracker).Ab wann wirkt das Token?
Verliere ich Rankings, wenn ich KI-Training abwähle?
Soll ich meine bestehenden Regeln für einzelne KI-Crawler löschen?
Kann das Token aus Versehen auch Suchmaschinen aussperren?
User-agent: * oder ist sie nur durch eine Sitemap- oder Leerzeile getrennt, verschmelzen die Gruppen, und ein Disallow: / trifft typischerweise alle Crawler ohne eigene Gruppe (RFC 9309).