robots.txt + Sitemap-Validator
Syntax + Sitemap-Referenzen prüfen — Voraussetzung für saubere Indexierung.
So funktioniert dieses Tool
robots.txt steuert wie Suchmaschinen-Crawler Ihre Website besuchen — Allow/Disallow-Regeln pro User-Agent, Crawl-Delays und Sitemap-Referenzen. sitemap.xml hilft Crawlern, alle Ihre URLs effizient zu finden. Dieser Validator lädt beide Dateien live, parst die Syntax (User-agent-Blöcke mit ihren Allow/Disallow-Regeln, alle erwähnten Sitemaps), folgt den Sitemap-Referenzen und prüft jede sitemap.xml auf gültiges XML, Format (urlset vs sitemapindex) und URL-Anzahl. So erkennen Sie Tippfehler, vergessene Sitemap-Referenzen oder kaputte XML-Dateien sofort.
Typische Anwendungsfälle
- Nach SEO-Audit verifizieren dass Crawler nichts versehentlich blockiert ist
- Vor Sitemap-Submit in Google Search Console die XML-Validität sicherstellen
- Bei Indexierungsproblemen schauen ob robots.txt versehentlich /-Disallow hat
- Sitemap-Referenz in robots.txt prüfen — fehlt sie, finden Crawler die Sitemap evtl. nicht
Häufige Fragen
Welche User-Agents sollte ich in robots.txt explizit nennen?
"User-agent: *" als Default, plus optional "Googlebot" für Google-spezifische Regeln. Spezifische Regeln gewinnen über "*". Nicht nötig: einzelne Bots wie "Bingbot", "DuckDuckBot" — die nutzen meist "*".
Was ist der Unterschied zwischen urlset und sitemapindex?
urlset enthält direkt Ihre URLs (max. 50.000 / 50 MB pro Datei). sitemapindex referenziert mehrere urlsets — bei großen Sites unverzichtbar. Sie können auch nur einen sitemapindex in robots.txt referenzieren und Sub-Sitemaps darunter strukturieren.
Crawl-delay — wann notwendig?
Bei kleinen Servern, die durch Crawler überlastet werden. Google ignoriert es übrigens — nutzen Sie dafür Search Console. Bing, Yandex und Baidu respektieren Crawl-delay.
Mein robots.txt hat absolute URLs — ist das OK?
Disallow erwartet relative Pfade (Disallow: /admin/), nicht absolute URLs. Eine Sitemap-Referenz dagegen MUSS absolut sein (Sitemap: https://...).
Wie viele Sitemaps darf ich nennen?
Beliebig viele in robots.txt. Wir prüfen die ersten 3, weil mehr selten ist und die Lade-Zeit explodieren würde.
Verwandte Tools
Daueraufsicht statt Stichprobe?
XICTRAQ überwacht Uptime, SSL, Security-Header, DSGVO und Performance 24/7. Free-Plan, keine Kreditkarte.