Zum Inhalt springen
DSGVO-konform. Gehostet in der EU.
14 Tage kostenlos testen →
robots.txtKI-TrainingIETF-Entwurf
SEO 17 Min. Lesezeit 18. Nov. 2026

KI-Training per robots.txt abwählen: das gemeinsame Signal

Ein gemeinsames Token in der robots.txt soll KI-Training bei allen Anbietern abwählen. Was der Entwurf regelt, was bis 2027 gilt, wie die Suche erhalten bleibt.

X

XICTRAQ® Team

XICTRAQ®

robots.txtKI-TrainingSEO-MonitoringKI-Sichtbarkeit
2027
ist die Unterstützung des gemeinsamen Tokens geplant (Google Search Central)
6 Monate
gilt ein Internet-Draft wie der Token-Entwurf höchstens (IETF Datatracker)
24 h
soll ein Crawler eine gespeicherte robots.txt höchstens weiterverwenden (RFC 9309)
KI-Training abwählen: ein Token für alleGemeinsames Policy-Token in der robots.txt, Unterstützung für 2027 angekündigt (Google Search Central)Einzelentwurf · Start 2027 geplantrobots.txtnach dem Ergänzenneu1User-agent: *2Disallow: /warenkorb/34User-Agent: __usage_ai-training5Disallow: /6Allow: /presse/78Sitemap: https://example.com/sitemap.xmlDeploySuche und Indexierung: wie bisherGruppe für alle Crawler steuert das CrawlingKI-Training: Präferenz dagegenfür alle Pfade außer /presse/wirkt, sobald Anbieter das Token lesen!ÄnderungsprotokollWarnungrobots.txt geändert (+3 Zeilen)+ User-Agent: __usage_ai-training+ Disallow: /+ Allow: /presse/Falle: Token-Zeile direkt unter „User-agent: *“Gruppen verschmelzen, Disallow: / träfe dann alle CrawlerQuellen: Google Search Central (30.10.2026), IETF Datatracker (Einzelentwurf), RFC 9309. Beispielhafte Darstellung.
Wer heute verhindern will, dass die eigenen Inhalte in das Training generativer KI-Modelle fließen, pflegt in der robots.txt eine Liste: eine Gruppe je Crawler-Kennung, für jeden Anbieter neu nachgeschlagen. Seit dem 30. Oktober 2026 liegt dafür ein Gegenentwurf auf dem Tisch, ein gemeinsames Signal für KI-Training, das alle teilnehmenden Anbieter aus einer einzigen Gruppe lesen sollen. Angekündigt wurde die Unterstützung im Blog von Google Search Central, geplant ist sie für 2027 (Google Search Central). Grundlage ist die Arbeit der Arbeitsgruppe aipref der Internet Engineering Task Force (IETF), die Bausteine für Präferenzen zur KI-Nutzung von Inhalten standardisieren soll. Technisch ist das Signal eine gewöhnliche robots.txt-Gruppe mit dem Policy-Token __usage_ai-training in der User-Agent-Zeile, beschrieben in einem Einzelentwurf ohne formale Stellung im Standardprozess (IETF Datatracker). Dieser Beitrag zeigt, was das Token regelt, was bis dahin wirkt, wie die Gruppe in die Datei kommt, ohne Suchcrawler zu treffen, und wie Sie die Datei nach jedem Deploy im Blick behalten.

Was am 30. Oktober angekündigt wurde

Die Ankündigung ist kurz und in ihren Kernsätzen eindeutig. Website-Betreiber sollen ihre Präferenz zum KI-Training künftig in einem Schritt für mehrere KI-Anbieter ausdrücken können, statt für jeden Entwickler eigene Anweisungen zu pflegen (Google Search Central). Wer das neue Token für ein Nein zum Training nutzt und Google-Extended nicht eigens nennt, den will der ankündigende Anbieter so behandeln, als hätte er Google-Extended gesperrt. Google-Extended ist dessen eigene Trainingskennung, die es seit 2023 gibt (Google Search Central).

Today, we're announcing our plans to support a shared AI training control in robots.txt.

— Google Search Central Blog, „Supporting a shared AI training control for websites“, 30. Oktober 2026

Zwei Punkte gehören zur Einordnung. Erstens bleiben die bisherigen anbieterspezifischen Kennungen bestehen und wirken neben dem gemeinsamen Signal weiter. Zweitens ist das Ganze eine Absicht mit Zeitplan, kein Stichtag: Der Anbieter will die Unterstützung zusammen mit anderen KI-Anbietern 2027 umsetzen und über den Fortschritt berichten (Google Search Central). Die Crawler-Dokumentation desselben Anbieters nennt Anfang 2027 (Google Crawling Infrastructure).

Status: Einzelentwurf, kein Standard

Das Token stammt aus dem Internet-Draft draft-kelley-aipref-training-preference-signal-00. Laut Datatracker ist das ein Einzelentwurf, der nicht von der IETF getragen wird und keine formale Stellung im Standardprozess hat (IETF Datatracker). Internet-Drafts gelten höchstens sechs Monate und können jederzeit geändert, ersetzt oder zurückgezogen werden; dieser läuft am 3. Mai 2027 aus (IETF Datatracker). Token-Name, Regeln und Zeitplan können sich bis zur Unterstützung also noch ändern.

So funktioniert das Policy-Token

Der Entwurf führt keine neue Anweisung und keine neue Grammatik ein. Ein Betreiber schreibt eine gewöhnliche robots.txt-Gruppe, deren User-Agent-Zeile keinen Crawler bezeichnet, sondern ein Policy-Token für einen Nutzungszweck (IETF Datatracker). Pfadsprache, Vorrang der längsten Übereinstimmung und Gruppenaufbau bleiben so, wie RFC 9309 sie für das Robots Exclusion Protocol festlegt. Parser, die das Token nicht kennen, übergehen die Gruppe wie die eines unbekannten Crawlers. Das Beispiel aus dem Entwurf:

robots.txt (Beispiel aus dem Entwurf)
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Gelesen wird die Gruppe wie jede andere: Wo der Pfad gesperrt ist, hat der Betreiber eine Präferenz gegen KI-Training ausgedrückt, wo er erlaubt ist, eine Präferenz dafür. Im Beispiel gilt also ein Nein für die ganze Website und ein Ja für das Pressematerial unter /press-kit/. Fehlt eine Gruppe mit dem Token ganz, ist keine Präferenz ausgedrückt (IETF Datatracker, Abschnitt 4.2). Vier Regeln aus dem Entwurf sind in der Praxis entscheidend:

  • Die Gruppe für alle zählt nicht. Eine Gruppe mit User-agent: * darf ausdrücklich nicht als Treffer für das Token gelten (IETF Datatracker, Abschnitt 4.2). Ein pauschales Disallow: / für alle Crawler drückt deshalb keine Trainingspräferenz aus, es sperrt aber die Suche.
  • Groß- und Kleinschreibung egal, Schreibweise nicht. Das Token wird wie jede Produktkennung ohne Rücksicht auf Groß- und Kleinschreibung, sonst aber exakt verglichen (IETF Datatracker, Abschnitt 4.1). __usage_ai_training mit Unterstrich statt Bindestrich ist ein anderes Token und drückt nichts aus.
  • Kein Befehl für das Crawling. Ein Anbieter darf die Präferenz nutzen, um Abrufe zu sparen, muss es aber nicht (IETF Datatracker, Abschnitt 4.4).
  • Unabhängig von den Crawler-Regeln. Jeder Crawler liest seine eigene Gruppe weiter wie bisher. Inhaltsnutzung und Crawling-Steuerung stehen in derselben Datei, sind aber voneinander getrennt (IETF Datatracker, Abschnitt 4.3).

Was „KI-Training“ heißt, legt der Entwurf nicht selbst fest. Er übernimmt die Definition aus dem Vokabular-Entwurf der Arbeitsgruppe: die Nutzung eines Inhalts, um die gelernten Parameter eines generativen KI-Modells zu verändern (IETF-Arbeitsgruppe aipref, Vokabular-Entwurf). Das Training von Modellen, die ausschließlich nicht generative Aufgaben erledigen, fällt nicht darunter. Für die Suche sieht das Vokabular eine eigene Kategorie vor; das Token aus der Ankündigung berührt sie nicht.

Training ist nicht Suche: was das Token nicht berührt

Das neue Signal ist eng: Es betrifft genau einen Nutzungszweck. Ob eine Seite gecrawlt, indexiert und in Suchergebnissen gezeigt wird, regeln weiterhin die Gruppen für die Crawler selbst, im Normalfall die Gruppe User-agent: *. Für Google-Extended, die Kennung, auf die der ankündigende Anbieter das neue Signal abbildet, steht in der Dokumentation ausdrücklich, dass sie die Aufnahme in die Websuche nicht beeinflusst und kein Ranking-Signal ist (Google Crawling Infrastructure).

Eine Einschränkung gehört trotzdem auf den Tisch, bevor Sie das Nein setzen. Dieselbe Kennung steuert laut Dokumentation nicht nur das Training künftiger Modellgenerationen, sondern auch das sogenannte Grounding: Inhalte aus dem Suchindex werden einem Modell bei der Anfrage mitgegeben, damit Antworten in den KI-Anwendungen des Anbieters faktentreuer ausfallen (Google Crawling Infrastructure). Die Ankündigung hält fest, dass Websites, die die Kennung ausdrücklich erlauben, in solchen Antworten erscheinen und Klicks erhalten können (Google Search Central). Wer über das gemeinsame Token Nein sagt und die Kennung nicht eigens nennt, sollte damit rechnen, dass dieser Weg in die KI-Antworten des Anbieters mit wegfällt. Das ist eine Abwägung zwischen Inhaltsschutz und KI-Sichtbarkeit, keine technische Frage. Wie sich die Präsenz in KI-Antworten überhaupt messen lässt, zeigt der Beitrag zur Messung der Generative Engine Optimization (GEO).

Regel in der robots.txtWirkung heuteWirkung nach angekündigter Unterstützung
User-agent: * mit Disallow: /sperrt das Crawling für alle Crawler ohne eigene Gruppe, auch für die Sucheunverändert; zählt ausdrücklich nicht als Trainingspräferenz
Gruppe je Trainingskennung, etwa Google-Extendedwirkt bei dem Anbieter, der die Kennung dokumentiertwirkt weiter und geht beim ankündigenden Anbieter dem Token vor
Gruppe __usage_ai-training mit Disallow: /wird von heutigen Parsern als unbekannter Crawler übergangenNein zum Training bei teilnehmenden Anbietern, beim ankündigenden Anbieter wie ein Nein für Google-Extended

Was heute schon wirkt: Kennungen je Crawler

Bis die Unterstützung tatsächlich kommt, wirkt nur, was die Anbieter heute dokumentieren: eigene Kennungen je Crawler oder je Zweck. Google-Extended hat keinen eigenen User-Agent in den Anfragen, sondern wird ausschließlich in der robots.txt als Steuerkennung gelesen (Google Crawling Infrastructure). Andere Anbieter trennen Training und Suche über verschiedene Crawler. So erklärt OpenAI, dass ein gesperrter GPTBot bedeutet, die Inhalte sollen nicht für das Training generativer Basismodelle genutzt werden, während ein eigener Such-Crawler für die Anzeige in Suchergebnissen zuständig ist (OpenAI). Eine robots.txt, die das Training heute bei diesen beiden Anbietern abwählt und die Suche offen lässt, sieht so aus:

robots.txt (Stand heute)
# Suche und Indexierung: Gruppe für alle Crawler
User-agent: *
Disallow: /warenkorb/

# KI-Training: je Anbieter eine eigene Gruppe
User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

Diese Liste wächst mit jedem Anbieter und ist nur so vollständig wie Ihr letzter Blick in die Dokumentationen. Genau hier setzt das gemeinsame Token an: Es soll die Lücke für Anbieter schließen, die Sie nicht einzeln aufführen. Welche Kennungen verbreitet sind und wie man sie im Zugriffsprotokoll erkennt, zeigt der Beitrag zu llms.txt und KI-Crawlern; wie sich ihre Last messen lässt, steht im Beitrag zum Messen von KI-Crawler-Traffic. Die Gruppen je Crawler müssen Sie nicht von Hand tippen: Der kostenlose robots.txt- und llms.txt-Generator erzeugt sie für die gängigen KI-Crawler. Das neue Token kennt er bislang nicht, die Gruppe dafür ergänzen Sie von Hand.

Bestehende Gruppen nicht löschen

Die anbieterspezifischen Kennungen funktionieren laut Ankündigung neben dem gemeinsamen Signal weiter (Google Search Central). Der Entwurf sieht vor, dass spezifische Angaben vor allgemeinen gelten, und erlaubt Anbietern, ihre eigenen Kennungen als spezifischer zu behandeln als das Token (IETF Datatracker, Abschnitt 4.5). Bestehende Sperren bleiben also stehen, das Token kommt als Auffangregel dazu.

Welche Haltung zu welcher Website passt

Ob ein Nein zum Training sinnvoll ist, hängt vom Geschäftsmodell ab. Das Token erlaubt Pfadangaben, also auch ein Nein für einzelne Bereiche. Drei typische Ausgangslagen:

Onlineshop

Produkt- und Kategorieseiten sollen in KI-Antworten genannt werden. Sinnvoller als ein pauschales Nein ist ein Nein für aufwendige Bereiche wie Ratgeber, über Pfade in der Token-Gruppe.

Fachverlag und Ratgeber

Der Inhalt ist das Produkt. Ein Nein für die ganze Website mit Ausnahmen für Pressebereiche entspricht dem Beispiel aus dem Entwurf. Ob KI-Antworten dann noch auf die Seite verweisen, gehört in die Abwägung.

Agentur mit vielen Kunden

Jede Kundenwebsite hat eine eigene robots.txt. Wer das Token für Kunden ergänzt, braucht je Website einen Nachweis, wann die Gruppe live ging, und eine Meldung, wenn sie verschwindet.

Für Ausnahmen gilt die gewohnte Logik der robots.txt: Die Regel mit der längsten Übereinstimmung gewinnt, bei gleichwertigen Regeln soll Allow vorgehen (RFC 9309). Ein Allow: /presse/ neben Disallow: / wirkt deshalb wie erwartet. Ein Allow: /presse ohne Schrägstrich am Ende erfasst dagegen auch einen Pfad wie /presseverteiler-intern/, und der ist damit für das Training freigegeben.

Die neue Gruppe einfügen, ohne Suchcrawler zu treffen

Weil das Token nur eine weitere Gruppe ist, entscheidet seine Lage in der Datei darüber, ob es wirkt wie gedacht. Eine Gruppe besteht nach RFC 9309 aus einer oder mehreren User-Agent-Zeilen und den folgenden Regeln; sie endet erst, wenn nach einer Regel wieder eine User-Agent-Zeile kommt (RFC 9309). Daraus folgen die häufigsten Fehler beim Einfügen:

  • Die Token-Zeile direkt unter einer anderen User-Agent-Zeile. Steht User-Agent: __usage_ai-training unmittelbar unter User-agent: *, bilden beide eine Gruppe. Ein darunter folgendes Disallow: / gilt dann für jeden Crawler ohne eigene Gruppe, auch für Suchmaschinen (RFC 9309).
  • Eine Sitemap-Zeile als vermeintlicher Trenner. Andere Einträge wie Sitemap: beenden keine Gruppe (RFC 9309). Google zeigt genau diesen Fall: Zwei User-Agent-Zeilen mit einer Sitemap-Zeile dazwischen gelten als eine Gruppe, beide Crawler trifft das folgende Disallow: / (Google Crawling Infrastructure).
  • Leerzeilen trennen nicht. Auch eine Leerzeile beendet nach der Grammatik von RFC 9309 keine Gruppe. Verlässlich trennt nur eine Regel: Hat die vorangehende Gruppe mindestens eine Allow- oder Disallow-Zeile, beginnt mit der Token-Zeile eine neue Gruppe.
robots.txt (richtig: eigene Gruppe)
User-agent: *
Disallow: /warenkorb/

User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

# Auffangregel für alle übrigen Anbieter, die das Token lesen
User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/

Sitemap: https://www.example.com/sitemap.xml
robots.txt (falsch: Token rutscht in die Gruppe für alle)
# Falsch: keine Regel zwischen den User-Agent-Zeilen
User-agent: *
User-Agent: __usage_ai-training
Disallow: /

# Ergebnis: nur eine Gruppe, Disallow: / gilt für alle Crawler

Zwei weitere Grenzen: Crawler müssen nach RFC 9309 mindestens 500 Kibibyte (KiB) einer robots.txt auswerten können (RFC 9309), Google wertet bis zu 500 KiB aus und übergeht, was danach steht (Google Crawling Infrastructure). In sehr großen Dateien landet eine ans Ende gehängte Gruppe sonst hinter der Grenze. Außerdem muss die Datei als Klartext in UTF-8 ausgeliefert werden; liefert der Server unter /robots.txt eine HTML-Seite, versucht der Parser, Regeln herauszulesen, und ignoriert den Rest (Google Crawling Infrastructure).

Nach dem Einfügen lohnt ein Blick auf die Gruppenstruktur, bevor die Datei live geht. Der kostenlose Validator für robots.txt und Sitemap lädt die Datei, zerlegt sie in User-Agent-Blöcke mit ihren Regeln und zeigt so, welche Zeilen zusammengehören. Allgemeine Fehlerbilder, vom versehentlichen Disallow: / bis zu gesperrten Ressourcen, behandelt der Beitrag zu typischen robots.txt-Fehlern.

Wann eine Änderung wirkt: Cache, Fehler, Weiterleitungen

Eine Regel in der robots.txt wirkt nicht im Moment des Deploys. Crawler dürfen die Datei zwischenspeichern; RFC 9309 sieht vor, dass eine gespeicherte Fassung nicht länger als 24 Stunden verwendet werden soll, solange die Datei erreichbar ist (RFC 9309). Google speichert die Datei meist bis zu 24 Stunden, bei Zeitüberschreitungen oder Serverfehlern auch länger (Google Crawling Infrastructure). Eine neue Regel braucht also bis zu einen Tag, ein Fehler bleibt ebenso lange in Kraft.

Wichtiger ist, was ein Crawler sieht, wenn die Datei fehlt oder der Server streikt. Beides entsteht typischerweise bei einem Deploy:

Antwort auf /robots.txtFolge nach RFC 9309Folge bei GoogleFolge für die Trainingsregel
Client-Fehler (4xx), etwa 404 nach einem Build ohne DateiCrawler dürfen auf alle Ressourcen zugreifenwie eine fehlende robots.txt, keine Crawl-Beschränkung (außer bei 429)fällt ersatzlos weg, ebenso jede Gruppe je Crawler
Server- oder Netzfehler (5xx)Crawler müssen eine vollständige Sperre annehmendie ersten 12 Stunden kein Crawling, danach bis zu 30 Tage die letzte gute Fassungdie alte Fassung gilt weiter, die Suche pausiert
Weiterleitungmindestens fünf aufeinanderfolgenden Weiterleitungen folgennach fünf Weiterleitungen wie eine fehlende Dateiwirkt nur, wenn das Ziel innerhalb der Kette liegt

Die Angaben stammen aus RFC 9309, Abschnitte 2.3.1.2 bis 2.3.1.4 (RFC 9309), und aus der Auslegung durch Google (Google Crawling Infrastructure). Für die Trainingsregel ist der erste Fall der heikle. Ein Deploy, der die robots.txt nicht mitliefert, entfernt nicht nur das neue Token, sondern jede Sperre je Crawler, und kein Crawler meldet sich deswegen bei Ihnen. Der zweite Fall trifft die Suche: Antwortet /robots.txt mit einem Serverfehler, stellt Google das Crawling zunächst ein (Google Crawling Infrastructure). Wie leicht so etwas im Release-Ablauf passiert, zeigt das verwandte Muster beim noindex im Deploy.

Die robots.txt nach jedem Deploy überwachen

Eine Regel, die erst 2027 wirkt, wird heute geschrieben und muss bis dahin jeden Deploy, jedes Update des Content-Management-Systems und jeden Hosterwechsel überstehen. Das SEO-Monitoring von XICTRAQ® ruft die robots.txt jeder überwachten Website regelmäßig ab und vergleicht sie mit der zuletzt gespeicherten Fassung. Ändert sich der Inhalt, entsteht im Änderungsprotokoll ein Eintrag mit dem Schweregrad Warnung, der die hinzugefügten und entfernten Zeilen samt Anzahl aufführt, etwa +3 für drei neue Zeilen. So lässt sich nachvollziehen, seit welchem Abruf die Token-Gruppe in der Datei steht und ob ein späterer Deploy sie wieder entfernt hat.

Zeilen im Änderungsprotokoll

Weicht die abgerufene robots.txt von der vorigen Fassung ab, erscheint ein Eintrag mit Datum und in der Regel mit den hinzugefügten und entfernten Zeilen. Der planbare SEO-Bericht führt Änderungen an der robots.txt mit auf.

Alarm bei Vollsperre

Sperrt die Gruppe für alle Crawler die ganze Website, löst XICTRAQ® einen kritischen Alarm aus. Eine eigene Token-Gruppe tut das nicht, eine verschmolzene schon.

Prüfung auf die Token-Zeile

Ein API-Check auf /robots.txt prüft den Status 200 und ob die Token-Zeile im Text steht. Schlägt er zweimal in Folge fehl, geht der Alarm über die eingerichteten Kanäle hinaus.

Der Alarm bei Vollsperre arbeitet gruppengenau: Er wertet nur die Gruppe User-agent: * aus und schlägt an, wenn dort Disallow: / ohne Allow: / steht. Damit fängt er den Fall, in dem die Token-Zeile in die Gruppe für alle rutscht, und bleibt still, solange die Trainingsgruppe getrennt steht. Zugestellt wird er über die Kanäle, die Sie in den Benachrichtigungen eingerichtet haben.

Fehlt die Datei ganz, gibt es keine neue Fassung zum Vergleichen, und der Zeilenvergleich bleibt stumm. Dafür ist die Prüfung auf die Token-Zeile da: zwei Zusicherungen, die beide erfüllt sein müssen; die zweite ignoriert wie der Entwurf die Groß- und Kleinschreibung:

zusicherungen-robots-txt.json
[
  { "type": "status_code", "operator": "eq", "value": 200 },
  { "type": "text_contains", "value": "User-Agent: __usage_ai-training" }
]

Für Shops fällt die Ankündigung in eine ungünstige Zeit. Vor der Black Week gehen viele Aktionsseiten und Tests live, und jeder dieser Deploys kann die robots.txt überschreiben. Die Trainingsgruppe ergänzen Sie darum besser getrennt vom Aktions-Release und prüfen den Eintrag im Änderungsprotokoll, bevor der Aktionscode folgt. Wie sich die Tests derselben Woche sauber auswerten lassen, steht im Beitrag zu A/B-Tests in der Black Week.

Was bis 2027 offen ist

Die Ankündigung beschreibt eine Richtung, keinen fertigen Standard. Vier Punkte sind ausdrücklich offen:

  • Name und Regeln des Tokens. Der Entwurf liegt in seiner ersten Fassung vor und kann bis zur Unterstützung geändert, ersetzt oder zurückgezogen werden (IETF Datatracker).
  • Teilnahme der Anbieter. Wirkung entsteht nur bei Anbietern, die das Token tatsächlich lesen. Die Ankündigung spricht von einer Umsetzung zusammen mit anderen KI-Anbietern, nennt aber keinen davon (Google Search Central).
  • Der Rest des Vokabulars. Das Token nutzt nur die Definition für KI-Training; über die übrigen Begriffe des Vokabulars der Arbeitsgruppe wird weiter verhandelt (Google Search Central).
  • Durchsetzung. Die technische Durchsetzung von Präferenzen gehört ausdrücklich nicht zum Auftrag der Arbeitsgruppe (IETF-Arbeitsgruppe aipref, Charta). Auch RFC 9309 stellt klar, dass die Regeln der robots.txt keine Zugriffsberechtigung sind (RFC 9309). Das Token ist eine Erklärung, keine Sperre.
Nicht verwechseln: Content-Usage

In der Arbeitsgruppe aipref liegt mit draft-ietf-aipref-attach ein zweiter Entwurf, der Präferenzen über ein eigenes Feld Content-Usage in der robots.txt und in HTTP-Antworten anhängt (IETF-Arbeitsgruppe aipref, Attach-Entwurf). Das ist ein anderer Mechanismus, den die Ankündigung vom 30. Oktober nicht nennt. Eine Zeile Content-Usage zählt für das angekündigte Signal nicht.

Rechtlich ist das technische Signal nur ein Baustein. Wie ein Nutzungsvorbehalt für Text und Data Mining (TDM) so formuliert wird, dass er urheberrechtlich trägt, behandelt der XICTRON®-Beitrag zum TDM-Vorbehalt für Shops.

Fahrplan: jetzt vorbereiten, 2027 umstellen

  1. Ziel festlegen. Kein Training, aber Suche: Das ist für viele Betreiber der Ausgangspunkt. Klären Sie zusätzlich, ob Sie in KI-Antworten erscheinen wollen, denn je nach Anbieter hängt das an derselben Kennung wie das Training.
  2. Bestand erfassen. Welche Gruppen je Crawler stehen heute in der robots.txt, und welche davon betreffen das Training? Der kostenlose KI-Readiness-Check zeigt, welche bekannten KI-Crawler erlaubt oder blockiert sind.
  3. Token-Gruppe ergänzen. Als eigene Gruppe hinter einer Gruppe mit Regeln, nicht direkt unter einer anderen User-Agent-Zeile, mit Pfadausnahmen nur dort, wo sie gewollt sind.
  4. Struktur prüfen. Die Datei im Validator in Gruppen zerlegen lassen und kontrollieren, dass User-agent: * keine neue Sperre bekommen hat.
  5. Getrennt ausliefern. Als eigener kleiner Deploy, nicht im Paket mit Aktions- oder Template-Änderungen.
  6. Überwachen. Änderungsprotokoll und Alarm bei Vollsperre aktiv halten, dazu die Prüfung auf die Token-Zeile.
  7. 2027 nachziehen. Den Datatracker auf eine neue Fassung des Entwurfs prüfen und die Ankündigungen der Anbieter verfolgen; ändert sich der Token-Name, die Gruppe anpassen.
Eine Gruppe mehr, nicht eine Liste weniger

Das gemeinsame Token ersetzt bis auf Weiteres keine bestehende Regel. Es kommt als Auffangregel dazu und wirkt frühestens 2027, nur bei Anbietern, die es lesen. Heute braucht es eine robots.txt mit sauber getrennten Gruppen und eine Überwachung, die Änderungen sichtbar macht.

Quellen und Stand

Dieser Beitrag stützt sich auf: Google Search Central Blog, Ankündigung des gemeinsamen Trainingssignals vom 30. Oktober 2026; Google Crawling Infrastructure, „List of Google's common crawlers“ (Abschnitt Google-Extended) und „How Google interprets the robots.txt specification“; IETF Datatracker, draft-kelley-aipref-training-preference-signal-00, Einzelentwurf vom 30. Oktober 2026, gültig bis 3. Mai 2027; IETF-Arbeitsgruppe aipref, Vokabular-Entwurf draft-ietf-aipref-vocab-08, Attach-Entwurf draft-ietf-aipref-attach-05 und Charta der Arbeitsgruppe; RFC 9309, Robots Exclusion Protocol; OpenAI, Overview of OpenAI Crawlers. Abgerufen am 2. November 2026; Produktangaben nach Funktionsstand November 2026.

Was ist das gemeinsame KI-Trainingssignal in der robots.txt?
Eine eigene Gruppe in der robots.txt mit dem Policy-Token __usage_ai-training in der User-Agent-Zeile. Ein Disallow drückt je Pfad eine Präferenz gegen KI-Training aus, ein Allow eine dafür. Grundlage ist ein Einzelentwurf ohne formale Stellung im Standardprozess (IETF Datatracker).
Ab wann wirkt das Token?
Angekündigt ist die Unterstützung für 2027, zusammen mit anderen KI-Anbietern (Google Search Central). Bis dahin übergehen heutige Parser die Gruppe in der Regel wie die eines unbekannten Crawlers. Wirksam sind derzeit nur die Kennungen, die jeder Anbieter selbst dokumentiert.
Verliere ich Rankings, wenn ich KI-Training abwähle?
Für die Websuche ist das nach der Dokumentation nicht vorgesehen: Google-Extended, die Kennung, auf die der ankündigende Anbieter das Token abbildet, beeinflusst weder die Aufnahme in die Suche noch das Ranking (Google Crawling Infrastructure). Anders kann es bei KI-Antworten aussehen, wenn ein Anbieter Training und Grounding über dieselbe Kennung steuert. Das sollten Sie vor dem Nein abwägen.
Soll ich meine bestehenden Regeln für einzelne KI-Crawler löschen?
In der Regel nein. Die anbieterspezifischen Kennungen wirken laut Ankündigung weiter (Google Search Central), und nur sie wirken bereits heute. Das Token kommt als Auffangregel für Anbieter dazu, die Sie nicht einzeln aufführen.
Kann das Token aus Versehen auch Suchmaschinen aussperren?
Das Token selbst nicht, denn die Gruppe für alle Crawler zählt ausdrücklich nicht als Treffer (IETF Datatracker). Heikel ist die Lage in der Datei: Steht die Token-Zeile direkt unter User-agent: * oder ist sie nur durch eine Sitemap- oder Leerzeile getrennt, verschmelzen die Gruppen, und ein Disallow: / trifft typischerweise alle Crawler ohne eigene Gruppe (RFC 9309).
Wie merke ich, dass ein Deploy die Regel entfernt hat?
Mit einer Überwachung der robots.txt. XICTRAQ® vergleicht jede abgerufene Fassung mit der vorigen, protokolliert Änderungen mit den hinzugefügten und entfernten Zeilen und alarmiert, wenn die Gruppe für alle Crawler die ganze Website sperrt. Fehlt die Datei ganz, hilft ein API-Check, der prüft, ob die Token-Zeile in der Antwort steht. Jeden Einzelfall kann kein Monitoring zusagen, ein stiller Verlust bleibt so aber in der Regel nicht lange unbemerkt.
In 60 Sekunden starten

Lassen Sie XICTRAQ® Ihre Website bewachen.

Kostenloser Plan ohne feste Laufzeit verfügbar. Keine Kreditkarte, keine Installation, keine versteckten Kosten.