llms.txt und KI-Crawler: Zugriff steuern und prüfen 2026

Was llms.txt ist - und was es ausdrücklich nicht ist

llms.txt ist eine einfache Textdatei im Markdown-Format, die im Wurzelverzeichnis einer Domain liegt (also unter /llms.txt) und Sprachmodellen einen kuratierten Einstieg in die wichtigsten Inhalte einer Website geben soll. Die Idee: Statt sich durch verschachteltes HTML, Navigationsmenüs und Werbeblöcke zu arbeiten, findet ein KI-System in llms.txt eine geordnete Liste der zentralen Seiten mit kurzen Beschreibungen und direkten Links. Der Vorschlag stammt aus der Entwicklergemeinde und ist ein offener Community-Standard, kein von einem Suchmaschinen- oder KI-Anbieter verbindlich unterstütztes Protokoll.

Wichtig ist die Abgrenzung zu zwei Dateien, die es schon lange gibt. Die robots.txt sagt Crawlern, welche Pfade sie besuchen dürfen und welche nicht - sie ist eine Zugriffssteuerung auf Basis von Freiwilligkeit. Die sitemap.xml listet alle indexierbaren URLs für Suchmaschinen auf. llms.txt verfolgt ein drittes Ziel: Es will nicht den Zugriff regeln und nicht jede URL auflisten, sondern die inhaltlich relevantesten Seiten für die Antwortgenerierung von Sprachmodellen hervorheben. Wer llms.txt mit robots.txt verwechselt, macht einen folgenschweren Denkfehler - denn llms.txt sperrt nichts aus.

Wie verbreitet llms.txt 2026 wirklich ist

Trotz viel Aufmerksamkeit in Fachkreisen ist llms.txt in der Breite noch selten. Eine Auswertung von 300.000 Domains kam im Mai 2026 auf eine Adoptionsrate von 10,13 Prozent (SE Ranking). Noch deutlicher wird das Bild an der Spitze: Unter den 1.000 traffic-stärksten Websites setzte praktisch keine die Datei ein - die Adoption lag dort bei rund 0 Prozent (SE Ranking); eine zweite Erhebung kam bei den Top-1.000 auf lediglich 8,7 Prozent (Rankability, Juni 2026). Die reichweitenstarken, autoritativen Seiten halten den Aufwand also überwiegend nicht für lohnend.

Hinzu kommt eine unbequeme Erkenntnis aus derselben Datenbasis: In der Auswertung über 300.000 Domains ließ sich kein klarer Effekt von llms.txt auf die Häufigkeit von KI-Zitationen nachweisen (SE Ranking). Ein Vorhersagemodell wurde sogar präziser, wenn die llms.txt-Variable entfernt wurde - ein Hinweis darauf, dass die Datei aktuell eher Rauschen als Signal beiträgt. Das heißt nicht, dass llms.txt wertlos ist; es heißt, dass sie kein Selbstläufer für mehr Sichtbarkeit ist und in einen größeren Plan gehört.

Die Tabelle macht den Kern deutlich: Alle drei Dateien sind Empfehlungen, keine Kontrollen. Wer aus llms.txt oder robots.txt einen echten Riegel machen will, braucht eine technische Ebene, die den Zugriff tatsächlich durchsetzt - und vorher die Gewissheit, welche Bots überhaupt kommen.

KI-Crawler wachsen rasant: wer klopft wirklich an

Während llms.txt noch die Ausnahme ist, ist das Crawling durch KI-Systeme längst die Regel. Der Anteil der KI-Crawler am verifizierten Bot-Traffic stieg auf 20,3 Prozent, dazu kamen weitere 6,5 Prozent KI-Suchbots - zusammen rund 26,7 Prozent des verifizierten Bot-Traffics (Cloudflare, Mai 2026). Über das gesamte Bot-Aufkommen betrachtet wuchs der Anteil KI-bezogener Bots von rund 18 Prozent im Januar auf etwa 34 Prozent im Juli 2026 (Cloudflare/Branchenanalyse). Allein GPTBot legte im Jahresvergleich um rund 305 Prozent zu und kletterte von 4,7 Prozent auf 11,7 Prozent Anteil am verifizierten Bot-Traffic (Cloudflare).

Die Rangfolge der einzelnen Bots ist dabei volatil. Im Mai 2026 führte GPTBot mit 11,48 Prozent der KI-Bot-Anfragen vor ClaudeBot mit 9,73 Prozent (Cloudflare); nur einen Monat später drehte sich das Bild, als ClaudeBot auf 19,8 Prozent sprang und GPTBot auf 9,4 Prozent nachgab (Cloudflare, Juni 2026). Wer seinen KI-Traffic nur einmal im Quartal anschaut, misst also womöglich eine Momentaufnahme, die schon in wenigen Wochen überholt ist - ein Argument für laufende Beobachtung statt Stichproben, wie sie der Beitrag zu AI-Crawler-Traffic mit GPTBot und ClaudeBot vertieft.

Der Preis des Crawlings: die Crawl-zu-Referral-Ratio

Crawling ist nicht kostenlos: Es verbraucht Bandbreite, Rechenzeit und Crawl-Budget. Die entscheidende Kennzahl ist die Crawl-zu-Referral-Ratio - wie viele Seiten ein KI-Bot abgreift, bevor er einen einzigen Besucher zurückschickt. Im B2B-Umfeld lag dieser Wert 2026 im Schnitt bei etwa 4.580 zu 1 (SEOmator). Einzelne Bots unterscheiden sich stark: GPTBot kam auf rund 217 zu 1, ClaudeBot dagegen auf rund 2.237 zu 1 (SEOmator), während die klassische Google-Suche traditionell nur eine Handvoll Seiten je Besuch crawlt. Anders gesagt: Ein Großteil der KI-Bots nimmt viel und gibt wenig zurück.

Diese Schieflage hat zwei Seiten. Einerseits ist jeder Crawl eine Chance, später in einer KI-Antwort zitiert zu werden - Sichtbarkeit, die ohne Crawl gar nicht entstehen kann. Andererseits belastet unkontrolliertes Crawling Server und Statistik, verfälscht Reichweitenzahlen und kann bei knappen Ressourcen sogar die Antwortzeit für echte Nutzer drücken. Ohne saubere Trennung von Mensch und Maschine wandert dieser Ballast unbemerkt in Ihre Kennzahlen, ähnlich dem Muster, das der Beitrag zum Filtern von Bot-Traffic aus der Analytics beschreibt.

Blockieren, zulassen oder bezahlen lassen

Für jeden KI-Crawler gibt es drei Grundhaltungen: blockieren (der Bot soll draußen bleiben), zulassen (Sichtbarkeit in KI-Antworten ist erwünscht) oder monetarisieren (Zugriff nur gegen Bezahlung oder Bedingungen). Die richtige Wahl hängt vom Geschäftsmodell ab: Ein Publisher mit werbefinanzierten Inhalten entscheidet anders als ein Dienstleister, der in KI-Antworten gefunden werden will.

Der häufigste Irrtum ist, robots.txt für eine Sperre zu halten. Sie ist eine Bitte. In einer Netzwerkauswertung hatten 84,2 Prozent der Websites gar keine KI-Crawler-Regel, nur 9,9 Prozent blockierten GPTBot und 13,7 Prozent mindestens einen KI-Crawler (TechnologyChecker/Cloudflare-Analyse). Und selbst dort, wo eine Regel steht, wird sie nicht immer befolgt - ein erheblicher Teil der GPTBot-Sperren wurde in derselben Analyse unterlaufen. Echte Durchsetzung entsteht erst auf technischer Ebene, etwa über eine Sperre am Server oder an der Firewall. Als bezahlte Variante werden inzwischen Modelle erprobt, bei denen KI-Crawler nur gegen Entgelt zugreifen: Ein großer Infrastrukturanbieter setzt ab dem 15. September 2026 neue Standardregeln, die Trainings- und Agenten-Traffic auf werbefinanzierten Seiten neuer Domains blockieren und ein Bezahl-Crawling ermöglichen (Cloudflare). Welche Sicherheits-Header und Zugriffsregeln eine Website heute setzt, lässt sich mit einem Security-Scan prüfen.

• Blockieren, wenn Ihre Inhalte exklusiv oder kostenpflichtig sind, das Crawling messbar Ressourcen kostet oder Sie eine spätere Monetarisierung offenhalten wollen.
• Zulassen, wenn Sie in KI-Antworten sichtbar sein wollen und die daraus entstehenden Rückverweise für Sie wertvoller sind als die Crawl-Last.
• Selektiv steuern, wenn Sie Trainings-Crawler anders behandeln wollen als Echtzeit-Fetcher oder KI-Suchbots - etwa Suche zulassen, breites Training aber begrenzen.
• Immer messen: Egal welche Haltung - ohne Nachweis, wer tatsächlich zugreift, bleibt jede Regel eine Vermutung.

llms.txt richtig aufsetzen

Wenn Sie sich für llms.txt entscheiden, halten Sie die Datei schlank und ehrlich. Sie besteht aus einer H1 mit dem Namen der Website, einem kurzen Blockquote als Zusammenfassung und thematisch gegliederten Link-Listen mit knappen Beschreibungen. Verlinken Sie nur Seiten, die wirklich Substanz haben, und pflegen Sie die Datei, wenn sich die Inhalte ändern - eine veraltete llms.txt schadet mehr, als sie nützt. Ein einfaches Grundgerüst sieht so aus:

# Beispiel GmbH

> Website-Monitoring, Sicherheit und cookielose Analytics für den Mittelstand.

## Kernthemen
- [Leistungen](https://example.com/leistungen): Überblick der Angebote
- [Preise](https://example.com/preise): Tarife und Leistungsumfang
- [Kontakt](https://example.com/kontakt): Ansprechpartner und Formular

## Ratgeber
- [Blog](https://example.com/blog): Fachbeiträge und Anleitungen
- [FAQ](https://example.com/faq): häufige Fragen kurz beantwortet

## Rechtliches
- [Datenschutz](https://example.com/datenschutz)
- [Impressum](https://example.com/impressum)

Welche Bots wirklich zugreifen: messen statt raten

Jede Steuerungsentscheidung steht und fällt mit einer Frage: Welche Bots kommen tatsächlich, wie oft und über welche Netze? Diese Antwort liefert kein Meinungsbeitrag, sondern nur die Auswertung der eigenen Zugriffe. KI-Crawler geben sich meist über ihren User-Agent zu erkennen (etwa GPTBot oder ClaudeBot), doch der User-Agent lässt sich fälschen. Belastbar wird die Erkennung erst in Kombination mit dem ASN, also der Netzkennung des zugreifenden Rechenzentrums. XICTRAQ nutzt genau diese Kombination und stützt sich dabei auf eine eigene Geo- und ASN-Datenbasis, um Datacenter-Zugriffe, VPNs und bekannte KI-Netze sauber von echtem Nutzer-Traffic zu trennen.

Erst wenn Mensch und Maschine getrennt sind, werden auch Ihre übrigen Kennzahlen wieder verlässlich - Sitzungen, Absprungrate und Conversions verzerren sich sonst durch Bot-Zugriffe. Wie sich dieser Effekt auf die Datenqualität auswirkt und welche Filter helfen, beschreibt der Leitfaden zum Filtern von Bot-Traffic. Wichtig ist, dass die Messung ohne Cookies und ohne Endgerätezugriff auskommt, damit sie datenschutzkonform bleibt und nicht selbst zum Compliance-Thema wird.

Von der Crawl-Last zur KI-Sichtbarkeit

Crawling ist nur die eine Hälfte der Rechnung. Die andere ist die Frage, ob aus den abgegriffenen Inhalten später Besucher, Zitationen und Umsatz werden. XICTRAQ macht dieses Verhältnis als Crawl-zu-Besucher-Ratio und Share-of-Model in der KI-Sichtbarkeit sichtbar: Wie oft wird Ihre Marke in KI-Antworten genannt, und wie viele reale Besucher kommen aus KI-Assistenten zurück? Dass diese Besucher wertvoll sein können, zeigt der Beitrag dazu, wie sich Umsatz aus KI-Empfehlungen und Referral-Traffic messen lässt.

Gleichzeitig verändern KI-Antworten das klassische Suchverhalten: Erscheint eine KI-Zusammenfassung, sinken die organischen Klicks auf die darunterliegenden Ergebnisse spürbar. Wer den Wechsel zwischen abgegriffenem Inhalt, KI-Antwort und tatsächlichem Besuch nicht misst, übersieht diese Verschiebung. Wie sich der Klickverlust durch KI-Antworten sichtbar machen lässt, vertieft der Beitrag zu den Klickverlusten durch AI Overviews. Die Steuerung von KI-Crawlern und die Messung der KI-Sichtbarkeit gehören deshalb zusammen - das eine ist die Eingangs-, das andere die Ausgangsseite derselben Bilanz.

KI-Crawler in fünf Schritten bewusst steuern

1. Bestand messen: Erfassen Sie über ein bis zwei Wochen, welche KI-Bots über welche Netze zugreifen, wie oft und auf welche Seiten - getrennt von echtem Nutzer-Traffic.
2. Haltung festlegen: Entscheiden Sie je Bot-Typ zwischen Blockieren, Zulassen und selektivem Steuern, orientiert an Geschäftsmodell und Crawl-zu-Referral-Verhältnis.
3. Regeln setzen: Formulieren Sie robots.txt als Hinweis und ergänzen Sie für alles, was verbindlich sein soll, eine technische Sperre auf Server- oder Edge-Ebene.
4. llms.txt pflegen (optional): Wenn Sie Sichtbarkeit anstreben, verweisen Sie in einer schlanken, aktuellen llms.txt auf Ihre wichtigsten Inhalte - ohne Erwartung eines Automatismus.
5. Wirkung überwachen: Verfolgen Sie fortlaufend die Crawl-Last und die Rückverweise, lassen Sie sich bei Anomalien alarmieren und passen Sie Ihre Regeln an, wenn sich die Bot-Landschaft verschiebt.

KI-Crawler-Zugriff mit XICTRAQ steuern und prüfen

KI-Crawling ist kein Zustand, den man einmal regelt und dann vergisst. Die Bot-Landschaft verschiebt sich von Monat zu Monat, neue Crawler tauchen auf, Anteile drehen sich. Deshalb gehört der Zugriff von KI-Bots in dieselbe laufende Überwachung wie Erreichbarkeit und Sicherheit. XICTRAQ erkennt automatisierte Zugriffe am ASN und User-Agent, trennt sie von echten Besuchern und zeigt in der KI-Sichtbarkeit sowohl die eingehende Crawl-Last als auch die Rückverweise aus KI-Assistenten. Bei ungewöhnlichen Ausschlägen meldet sich das Alerting über mehrere Kanäle, sodass Sie eine plötzliche Crawl-Welle bemerken, bevor sie Ihre Statistik oder Ihre Serverlast verzerrt.

Starten Sie mit dem kostenlosen Test und sehen Sie, welche KI-Bots heute schon auf Ihre Inhalte zugreifen. Oder buchen Sie eine persönliche Demo, um Bot-Erkennung, Crawl-zu-Besucher-Ratio und KI-Sichtbarkeit im Zusammenspiel zu erleben - damit Sie Blockieren, Zulassen und Monetarisieren auf Basis von Zahlen entscheiden, nicht aus dem Bauch.