A/B-Test Sample-Size-Calculator
Wie viele Besucher pro Variante brauchen Sie für ein aussagekräftiges Ergebnis?
Heutige Conversion-Rate in Prozent, 0,1 bis 99, zum Beispiel 3 für 3 von 100 Besuchern.
Aktuelle Conversion-Rate Ihrer Kontroll-Variante
Kleinste Verbesserung, die der Test erkennen soll, in Prozent der heutigen Rate, 1 bis 500. Beispiel: 20 heißt von 3 % auf 3,6 %.
Relative Verbesserung, die Sie noch erkennen wollen (z. B. +20 % = 2,0 % → 2,4 %)
Wie sicher ein Ergebnis kein Zufall sein soll. Üblich ist 0,05, also 95 % Sicherheit; kleinere Werte brauchen mehr Besucher.
Wie wahrscheinlich der Test einen echten Effekt findet. Üblich sind 80 %; höhere Werte brauchen mehr Besucher.
Ohne Haken rechnet der Rechner zweiseitig, also für Verbesserung und Verschlechterung. Einseitig braucht weniger Besucher, übersieht aber eine Verschlechterung.
Pro Variante
21.109
Besucher
Gesamt
42.218
Besucher (Kontrolle + Variante)
Erwartete Conversion
2,00 % → 2,40 %
Kontrolle → Variante
Tage bis Signifikanz
| Tägliche Visitors | Tage |
|---|---|
| 100 | 423 Tage |
| 500 | 85 Tage |
| 1.000 | 43 Tage |
| 5.000 | 9 Tage |
| 10.000 | 5 Tage |
Two-Proportion z-Test, vollständig im Browser berechnet (keine Daten verlassen Ihr Gerät).
So funktioniert dieses Tool
Wie viele Besucher pro Variante brauchen Sie für ein A/B-Test-Ergebnis, das nicht nur Zufall ist? Dieser Calculator nutzt den Two-Proportion z-Test (Standard für Conversion-Rate-Tests) und berechnet aus Baseline-Conversion, Minimum-Detectable-Effect (MDE), Signifikanzniveau (α) und Power (1−β) die nötige Stichprobengröße pro Variante. Plus Tage-bis-Signifikanz für 5 typische Traffic-Volumes. Komplett im Browser berechnet — keine Daten verlassen Ihr Gerät.
Typische Anwendungsfälle
- Vor Test-Start: realistische Erwartung an Laufzeit setzen (3 Tage statt „bis zum nächsten Standup")
- Stakeholder-Pitch: zeigen, dass eine Aussage nach 100 Besuchern statistisch wertlos ist
- Bei niedriger Baseline (1-3 % Conversion) realistisch einschätzen, ob ein Test überhaupt sinnvoll ist
- Power-Berechnung umdrehen: bei fester Stichprobe ablesen welcher MDE detektierbar ist
- Multi-Variant-Tests planen: Stichprobe pro Variante × Anzahl Varianten = Total-Traffic-Bedarf
- Sequential-Testing-Korrektur abschätzen (peeking-Problem) durch konservative MDE-Wahl
Häufige Fragen
Was bedeutet MDE (Minimum Detectable Effect)?
Der kleinste relative Unterschied, den Sie noch erkennen wollen. MDE=20 bei Baseline=2 % heißt: Sie wollen erkennen, ob die Variante mindestens 2,4 % erreicht. Kleinere MDE = größere Stichprobe nötig. Faustregel: 10-20 % sind realistisch, alles unter 5 % braucht enorme Datenmengen.
Warum 80 % Power und 95 % Signifikanz als Standard?
α = 0,05 → 5 % Wahrscheinlichkeit für False-Positive. Power = 0,8 → 20 % Wahrscheinlichkeit für False-Negative. Diese Kombo ist Industrie-Standard seit Jacob Cohen 1988 — höhere Power kostet überproportional mehr Stichprobe.
Ein- oder zweiseitiger Test?
Zweiseitig (Standard): testen ob die Variante signifikant anders ist (besser ODER schlechter). Einseitig: nur ob die Variante besser ist — ~20 % weniger Stichprobe, aber Sie dürfen NICHT post-hoc auf einseitig wechseln. Das ist p-Hacking.
Mein Test braucht 50 Tage — was tun?
Drei Optionen: MDE höher setzen (statt 10 % nur 25 % erkennen wollen → dramatisch weniger Stichprobe), mehr Traffic auf den Test schalten (90/10-Split), oder akzeptieren dass nur grobe Änderungen testbar sind.
Was ist mit Peeking / Sequential-Testing?
Wenn Sie täglich schauen und beim ersten signifikanten Ergebnis stoppen, ist die echte False-Positive-Rate weit höher als α=5 %. Sample-Size-Calculation geht davon aus dass Sie EINMAL am Endpunkt prüfen. Lösung: feste Laufzeit einhalten oder Sequential-Frameworks (CUPED, Bayesian) mit Peeking-Korrektur.
Verwandte Tools
Daueraufsicht statt Stichprobe?
XICTRAQ überwacht Uptime, SSL, Security-Header, DSGVO und Performance 24/7. Free-Plan, keine Kreditkarte.