Was ein A/B-Test in der Black Week tatsächlich misst
Ein A/B-Test teilt die Besucher zufällig auf zwei oder mehr Varianten auf und zählt, wie oft in jeder Gruppe eine Conversion eintritt. Verglichen werden zwei Anteile. Bei ausreichend großen Stichproben lässt sich die Binomialverteilung dafür durch die Normalverteilung annähern, und es entsteht ein Test, der dem Vergleich zweier Mittelwerte ähnelt (NIST/SEMATECH e-Handbook). XICTRAQ® rechnet auf dieser Grundlage den Two-Proportion-z-Test und weist den Uplift mit 95-%-Konfidenzintervall aus (XICTRAQ-Funktionsseite). Wie Zuweisung, z-Test und Stichprobe im Einzelnen funktionieren, erklärt der Grundlagenbeitrag A/B-Testing ohne Consent-Banner. Hier geht es um eine andere Frage: was das Ergebnis aus einer Ausnahmewoche bedeutet.
Die zufällige Zuweisung ist die Stärke des Verfahrens. Sie ist nach dem Statistik-Handbuch von NIST und SEMATECH die Voraussetzung dafür, dass Schlüsse aus einem Versuch korrekt, eindeutig und belastbar sind (NIST/SEMATECH e-Handbook). Weil beide Varianten gleichzeitig laufen, trifft jeder Saisoneffekt sie in gleichem Maß: mehr Besucher, höhere Kaufbereitschaft, andere Uhrzeiten. Eine Saisonbereinigung, wie sie die amtliche Statistik für Zeitreihen braucht, ist innerhalb eines Tests deshalb nicht nötig. Eurostat beschreibt Saisonbereinigung als Verfahren, das wiederkehrende saisonale Einflüsse aus einer Zeitreihe entfernt, damit die Entwicklung ohne Saison deutlicher sichtbar wird (Eurostat). Das Statistische Bundesamt rechnet auf diesem Weg unter anderem die Zahl der Verkaufstage und Feiertage aus den Messzahlen heraus (Destatis).
Was die gleichzeitige Zuweisung nicht ausgleicht, ist eine Wechselwirkung zwischen Variante und Saison. Der Test beantwortet zuverlässig, ob sich A und B im Testzeitraum unterscheiden. Ob derselbe Unterschied in einer Woche ohne Rabatte auftritt, ist eine Übertragung, die der Test selbst nicht abdeckt. Eurostat hält dazu fest, dass saisonale Effekte sich nicht nur zwischen Ländern, sondern auch zwischen einzelnen Kennzahlen unterscheiden (Eurostat). Die Konversionsrate eines Aktionsbanners ist eine solche Kennzahl.
Im Versuchsplan heißt dieser Fall Interaktion: Die Wirkung eines Faktors auf das Ergebnis hängt von der Stufe eines anderen Faktors ab (NIST/SEMATECH e-Handbook). Für den Shop bedeutet das: Die Wirkung von Variante B kann davon abhängen, ob gerade Aktionswoche ist. Der Test misst dann sauber den Effekt in der Aktionswoche, und nur diesen.
Warum die Aktionswoche andere Käufer in den Shop bringt
Die Besucher einer Aktionswoche sind nicht dieselben wie im Oktober, und sie kommen mit einem anderen Ziel. Rund jede und jeder Zweite (52 Prozent) der befragten Internetnutzenden wollte die reduzierten Preise zum Black Friday 2025 nutzen, die allermeisten davon online (Bitkom 2025). Befragt wurden 1.120 Internetnutzende in Deutschland ab 16 Jahren (Bitkom 2025). Die Zahlen zu den Kauftypen beziehen sich auf diejenigen, die zum Black Friday oder in der Cyber Week einkaufen wollten.
Die meisten derjenigen, die am Black Friday oder während der Cyber Week einkaufen wollen, gehen nach eigener Einschätzung geplant vor.
— Bitkom, Presseinformation „Black Friday: Die Hälfte geht auf Schnäppchenjagd“ vom 24. November 2025
Die Aufteilung zeigt, wie die Mischung aussieht. 45 Prozent sehen sich als „Wunscherfüller/innen“, die sich lange Gewünschtes erst zum Aktionspreis gönnen (Bitkom 2025). Ebenso viele, 45 Prozent, kaufen als „Kopf-Käufer/innen“ gezielt Dinge des täglichen Bedarfs oder größere Anschaffungen, wenn sie im Angebot sind (Bitkom 2025). Nur 28 Prozent zählen sich zu den „Impulskäufer/innen“ (Bitkom 2025), 22 Prozent zu den klassischen „Schnäppchenjäger/innen“ (Bitkom 2025). 33 Prozent nutzen die Rabatte vor allem für Geschenke (Bitkom 2025), und 61 Prozent haben schon vorher eine klare Vorstellung davon, wie viel sie ausgeben wollen (Bitkom 2025). Mehrfachnennungen waren möglich.
Für einen A/B-Test ist diese Mischung entscheidend. Wer seit Wochen auf den Preis eines bestimmten Geräts wartet, kauft in der Aktionswoche weitgehend unabhängig davon, ob das Banner grün oder blau ist. Eine Impulskäuferin reagiert dagegen deutlich stärker auf Gestaltung, Platzierung und Dringlichkeit. Verschiebt sich der Anteil dieser Gruppen, verschiebt sich auch der Effekt einer Variante, ohne dass der Test einen Fehler hätte. Er misst korrekt den Effekt auf genau diese Besucherschaft.
Hinzu kommt, dass die Saison selbst von Jahr zu Jahr anders ausfällt. Im Oktober und November 2024 sind die Online-Umsätze mit Waren mitten im Weihnachtsgeschäft einschließlich der Black-Friday-Aktionen um 4,2 Prozent eingebrochen (bevh). Im selben Zeitraum 2025 gaben Verbraucherinnen und Verbraucher 2,9 Prozent mehr im Onlinehandel aus (bevh). Und innerhalb derselben Saison laufen die Sortimente auseinander: Möbel und Einrichtung wuchsen im Oktober und November 2025 um 9,1 Prozent (bevh), Bekleidung und Schuhe legten nur um 0,1 Prozent zu (bevh). Ein Ergebnis aus der Aktionswoche 2026 ist deshalb auch für die Aktionswoche 2027 zunächst eine Hypothese und kein feststehender Wert.
Vier Gründe, warum ein Gewinner im Januar verlieren kann
Aus der Mischung der Käufer und den Bedingungen der Aktionswoche ergeben sich vier typische Mechanismen. Jeder davon kann einen echten Effekt in der Aktionswoche erzeugen, der in normalen Wochen schwächer ausfällt, verschwindet oder sich umkehrt.
In der Aktionswoche überwiegen geplante Käufe. Eine Variante, die Unentschlossene überzeugt, hat dann weniger Hebel; eine Variante, die Ersparnis betont, trifft genau den Grund des Besuchs. Im Januar kommen andere Besucher mit anderen Fragen.
Sinkt der Preis deutlich, trägt der Preis die Entscheidung. Gestaltungsdetails wirken daneben anders als in Wochen ohne Rabatt. Eine Variante, die einen Streichpreis hervorhebt, hat ohne Aktion schlicht nichts zum Hervorheben.
Wer gezielt auf den Aktionstag wartet, sieht sich Produkte vorher mehrfach an und kauft später in einer neuen Sitzung. Das verdünnt den gemessenen Unterschied, wie der nächste Abschnitt zeigt.
Unter Last laden schwere Varianten mit großen Bildern oder zusätzlichen Skripten langsamer. Gemessen wird dann Gestaltung plus Ladezeit unter Last. Wie sich Shops darauf vorbereiten, steht unter Lastspitzen im Q4.
Beim Rabattdruck kommt eine rechtliche Seite hinzu. Wer Verbrauchern eine Preisermäßigung für eine Ware bekannt gibt, muss den niedrigsten Gesamtpreis angeben, den er in den 30 Tagen vor der Ermäßigung angewendet hat (PAngV, § 11 Abs. 1). Testen Sie in der Aktionswoche verschiedene Preisdarstellungen, müssen beide Varianten diese Pflicht erfüllen; was dabei zu beachten ist, beschreibt der Beitrag zu Streichpreisen am Black Friday. Wie sehr Rabatte das Kaufverhalten prägen, beschreibt auch der Branchenverband: Viele Geschenke würden nur zu einem „subventionierten Preis“ gekauft, so der stellvertretende Hauptgeschäftsführer des bevh zum Weihnachtsgeschäft 2024 (bevh).
Ein ähnliches Muster zeigt der Countdown. Ein Zähler, der das Ende eines echten Angebots anzeigt, kann in der Aktionswoche messbar wirken, weil das Angebot tatsächlich endet. In einer Woche ohne Frist gibt es nichts, worauf er zählen könnte, und das Testergebnis lässt sich gar nicht übertragen. Wer Countdowns testet, sollte außerdem die Regeln für Zeitlimits im Warenkorb beachten.
Mehrfachbesuche verdünnen den Unterschied
Wie stark sich Wiederkehrer auf das Ergebnis auswirken, hängt davon ab, wie ein Werkzeug Besucher den Varianten zuordnet. Die A/B-Zuweisung von XICTRAQ® arbeitet ohne Cookie und ohne Speicher auf dem Endgerät. Die Zuweisung hängt an einem Sitzungsschlüssel, der aus IP-Adresse, einem täglich neu erzeugten Zufallswert und dem Datum gebildet wird. Innerhalb eines Tages sieht derselbe Besucher so dieselbe Variante (XICTRAQ-Dokumentation). Am nächsten Tag entsteht eine neue Sitzung, die erneut nach dem Zufallsprinzip zugewiesen wird. Dasselbe gilt, wenn der Anschluss wechselt, etwa vom Mobilfunk ins heimische WLAN, und für Besucher, die über den Tageswechsel hinaus im Shop bleiben.
In einer gewöhnlichen Woche fällt das oft weniger ins Gewicht, wenn weniger Käufe über mehrere Tage vorbereitet werden. In der Aktionswoche liegt das Muster nahe: am Montag vergleichen, am Freitag kaufen. Zudem nutzen viele Online-Shopper grundsätzlich mehrere Geräte: 73 Prozent von ihnen greifen beim Einkaufen im Netz zum Smartphone, 52 Prozent zum Notebook (Bitkom 2025), zusammen deutlich mehr als 100 Prozent. Für den Test entstehen daraus vier Effekte:
- Der Kauf zählt für die Variante der Kaufsitzung. Hat Variante B am Montag überzeugt und die Sitzung am Freitag Variante A erhalten, zählt die Conversion für A.
- Die überzeugende Sitzung zählt als Besuch ohne Kauf. Die Montagssitzung mit Variante B steht in der Auswertung ohne Conversion.
- Käufe außerhalb der Testseite fallen heraus. Ruft die Kaufsitzung die Seite mit dem Experiment gar nicht auf, etwa weil der Besucher direkt aus einem Merkzettel in die Kasse geht, zählt der Kauf für keine Variante.
- Dieselbe Person geht mehrfach ein. Jede neue Tagessitzung ist ein neuer Eintrag in der Grundgesamtheit, auch wenn dahinter derselbe Mensch steht.
Eine einfache Rechnung zeigt die Größenordnung. Angenommen, Variante B steigert die Kaufwahrscheinlichkeit tatsächlich um 10 Prozent. Fällt bei 40 Prozent der Käufe die Entscheidung in einer früheren Sitzung, verteilen sich diese Käufe zufällig auf beide Varianten und tragen nichts zum Unterschied bei. Messbar bleiben dann rund 6 Prozent Uplift (0,6 × 10). Weil die nötige Stichprobe ungefähr umgekehrt proportional zum Quadrat des gesuchten Unterschieds ist, braucht der Test dafür rund 2,8-mal so viele Sitzungen (1 / 0,6²). Alle Werte dieser Rechnung sind angenommen. Die Richtung ist typisch: Mehrfachbesuche ziehen den gemessenen Effekt in Richtung null. Mit dem Stichprobenrechner lässt sich prüfen, was ein kleinerer Mindesteffekt für die nötige Zahl an Sitzungen bedeutet.
Die A/B-Zuweisung von XICTRAQ® erkennt Besucher bewusst nicht über Tage hinweg wieder. Das ist die Grundlage dafür, ohne Speichern auf dem Endgerät zu testen, und zugleich der Grund für die Verdünnung. Durch sie fällt der gemessene Unterschied eher kleiner aus als der Effekt auf die einzelne Kaufentscheidung. Ein kleiner oder fehlender Unterschied in dieser Woche ist darum kein Beleg dafür, dass eine Variante wirkungslos ist.
Pausieren, verlängern oder als Saisonsegment lesen
Für jeden Test, der in den Aktionszeitraum hineinläuft, lohnt eine bewusste Entscheidung vor dem Start der Aktion. Welche Option passt, hängt davon ab, wofür das Ergebnis später gebraucht wird. Die folgende Übersicht ordnet die häufigsten Ausgangslagen.
| Ausgangslage | Empfehlung | Umsetzung in XICTRAQ® |
|---|---|---|
| Test läuft seit Wochen, das Ergebnis soll für das ganze Jahr gelten | Für den Aktionszeitraum pausieren oder die Aktionstage in der Auswertung ausklammern | Status „pausiert“, danach fortsetzen; Auswertungszeitraum auf die Wochen davor und danach legen |
| Test betrifft nur Aktionsinhalte wie Banner oder Aktionsseite | Eigenes Experiment mit eigenem Namen, das nur im Aktionszeitraum läuft | Neues Experiment anlegen und nach der Aktion beenden |
| Test läuft weiter, das Ergebnis soll beide Lagen zeigen | Aktionszeitraum als eigenes Segment lesen, nicht mit den Normalwochen mischen | Auswertungszeitraum je Fenster wählen und die Intervalle nebeneinanderlegen |
| Geplante Stichprobe ist vor der Aktion noch nicht erreicht | Nicht mit Aktionstagen auffüllen; nach der Saison fortsetzen oder neu starten | Stichprobe mit kleinerem Mindesteffekt neu rechnen |
| Variante ändert Preisdarstellung oder Rabattanzeige | Nur testen, wenn beide Varianten die Preisangabenpflichten erfüllen | Ergebnis nur für Wochen mit Rabatt verwenden |
Pausieren und Beenden unterscheiden sich in XICTRAQ® deutlich. Pausierte und beendete Tests weisen keine neuen Besucher mehr zu (XICTRAQ-Dokumentation). Bei einem pausierten Test erhält das Skript auf der Seite keine Variante, die Seite zeigt also, was sie ohne Variante zeigt, in der Regel das Original. Conversions von Sitzungen, die vor der Pause zugewiesen wurden, zählen weiter. Ein beendeter Test ist dagegen abgeschlossen: Er lässt sich nicht fortsetzen, und Conversions nach dem Ende zählen nicht mehr. Wer nach der Aktion weitertesten will, pausiert deshalb und beendet nicht.
Verlängern bedeutet in dieser Lage nicht, den Test bis Weihnachten weiterlaufen zu lassen. Auch der Dezember ist Saison, mit Geschenkkäufen, Lieferfristen und Feiertagen. Wochen, die dem Normalbetrieb eines Shops entsprechen, liegen je nach Sortiment oft erst wieder im neuen Jahr. Wer einen Test für die Aktion braucht, legt ihn deshalb als eigenes Experiment an und benennt ihn so, dass der Zeitraum im Namen steht:
// Eigenes Experiment nur für den Aktionszeitraum
xictraq.experiment('aktionsbanner-bw-2026').then(variant => {
// ohne laufenden Test kommt keine Variante zurück: dann bleibt das Original
if (variant === 'B') {
document.querySelector('.aktionsbanner')?.classList.add('aktionsbanner--b');
}
});
// auf der Bestellbestätigung
xictraq.convert('aktionsbanner-bw-2026');Der Name hält im Bericht fest, wofür das Ergebnis steht. Ein Test „aktionsbanner-bw-2026“ wird niemand mit einem Ganzjahresergebnis verwechseln. Ist die Aktion vorbei, wird er beendet, und für die normalen Wochen beginnt bei Bedarf ein neuer Test mit eigener Stichprobenplanung.
Normalwochen und Aktionszeitraum getrennt auswerten
Läuft ein Test durch den Aktionszeitraum hindurch, lässt er sich trotzdem sauber lesen. In der A/B-Auswertung von XICTRAQ® folgt die Tabelle dem gewählten Zeitraum: Gezählt werden die Zuweisungen im Zeitraum und deren Conversions bis zu dessen Ende. Je Variante stehen Besucher, Conversions, Konversionsrate, Uplift mit Intervall und p-Wert. Damit wird der Aktionszeitraum zu einem eigenen Segment, das sich neben die Wochen davor und danach legen lässt. So gehen Sie vor:
- Den Aktionszeitraum des Shops mit Datum notieren, zum Beispiel vom 20. bis 30. November, einschließlich vorgezogener Angebote für Newsletter-Empfänger.
- Als erstes Fenster die Normalwochen vor der Aktion wählen und das Uplift-Intervall notieren.
- Als zweites Fenster genau den Aktionszeitraum wählen und das Intervall daneben schreiben.
- Nach der Aktion ein drittes Fenster auswerten, sobald genug Sitzungen zusammengekommen sind.
- Je Fenster das ganze Intervall betrachten, nicht nur die Markierung als Gewinner.
- Bei mehreren Fenstern eine strengere Schwelle für den p-Wert anlegen.
Die Grafik oben zeigt, wie ein solches Bild aussehen kann. In den Normalwochen liegt der Uplift von B bei +13 Prozent mit einem Intervall von +3 bis +23 Prozent, im Aktionszeitraum bei −2 Prozent mit einem Intervall von −11 bis +7 Prozent. Die Werte sind Beispielwerte. Gelesen heißt das: In den Normalwochen liegt das ganze Intervall über null, ein Vorteil von B ist dort belegt. Im Aktionszeitraum umfasst das Intervall die Null, ein Vorteil ist dort nicht belegt. Dass sich die beiden Intervalle überlappen, heißt dabei weder, dass der Effekt in beiden Zeiträumen gleich ist, noch, dass er sich unterscheidet. Für die Entscheidung genügt meist die getrennte Lesart: Übernehmen Sie B für normale Wochen, und behandeln Sie die Aktionswoche als eigenen Fall.
Wer mehrere Fenster liest, macht mehrere Vergleiche, und mit jedem steigt die Chance, dass einer zufällig auffällt. Die Bonferroni-Methode erlaubt mehrere Vergleiche und Intervalle und hält dabei ein gemeinsames Konfidenzniveau ein (NIST/SEMATECH e-Handbook). Dazu wird jeder einzelne Vergleich strenger angesetzt: Bei drei Fenstern und einer gemeinsamen Irrtumswahrscheinlichkeit von 5 Prozent liegt die Schwelle je Fenster bei rund 0,017 (0,05 / 3). In XICTRAQ® wird eine Variante grün als Gewinner markiert, sobald der p-Wert unter 0,05 liegt und der Uplift positiv ist (XICTRAQ-Dokumentation). Lesen Sie drei Fenster, prüfen Sie den angezeigten p-Wert deshalb selbst gegen die strengere Schwelle.
Die Versuchsplanung kennt dafür den Block: Er dient dazu, einen systematischen Effekt zu isolieren, damit er die eigentlichen Effekte nicht verdeckt (NIST/SEMATECH e-Handbook). Der Aktionszeitraum ist so ein Block. Ein Ergebnis aus ihm gilt für Wochen mit Aktion, ein Ergebnis aus den Normalwochen für Wochen ohne. Wer beides getrennt berichtet, verliert keine Information und vermeidet die falsche Übertragung.
Was nach der Black Week in den Bericht gehört
Ein Testbericht nach der Aktionswoche ist dann nützlich, wenn er im nächsten Jahr noch verstanden wird. Dazu gehört mehr als die Siegervariante. Kosten und Umsatz je Kampagne gehören in den ROAS-Bericht zur Black Week, der Vergleich mit dem Vorjahr braucht den Kalenderversatz des Black Friday. Für das Experiment selbst genügen wenige Angaben:
- Name des Experiments, Varianten und genaue Laufzeit mit Datum
- Aktionszeitraum des Shops und welche Rabatte in dieser Zeit liefen
- Je Zeitraum: Sitzungen, Conversions, Uplift mit Intervall und p-Wert
- Hinweis, dass die Zuweisung je Tagessitzung erfolgt und Wiederkehrer mehrfach zählen
- Technische Auffälligkeiten im Testzeitraum, etwa längere Ladezeiten unter Last
- Entscheidung mit Geltungsbereich: übernommen für Aktionen, übernommen für normale Wochen oder neu zu testen
Bevor ein Ergebnis als Gestaltungseffekt in den Bericht geht, lohnt ein Blick auf technische Ursachen. Ein Knopf, der unter Last nicht reagiert, erscheint in Rage- und Dead-Clicks, eine Kasse, an der eine Zahlungsart ausfällt, in der Auswertung der Zahlungsarten. Ob die Seite in der Aktionswoche überhaupt durchgehend erreichbar war, zeigt das Uptime-Monitoring. Eine Variante, die nur deshalb verliert, weil ihr Bild unter Last nicht lädt, ist kein Gestaltungsbefund.
Tests vor dem Aktionsstart jetzt festlegen
Zwischen dem Erscheinen dieses Beitrags und dem Black Friday liegen nur wenige Tage. Gehen Sie jeden laufenden Test einmal durch und entscheiden Sie: pausieren, als eigenes Aktionsexperiment führen oder weiterlaufen lassen und als Segment lesen. Notieren Sie den Aktionszeitraum des Shops mit Datum, bevor die erste Rabattaktion startet, damit die Fenster später exakt passen. Und rechnen Sie für neue Tests mit einem kleineren messbaren Effekt, wenn viele Ihrer Kunden über mehrere Tage planen.
Das A/B-Testing ist Teil von Cookieless Analytics und als Premium-Modul ab dem Business-Plan verfügbar (XICTRAQ-Dokumentation); die Tarife stehen auf der Preisseite. Die Dokumentation zu A/B-Tests und Insights beschreibt Zuweisung, Status und Auswertung im Detail, und in der Live-Demo lässt sich die Auswertung ohne Anmeldung ansehen. Wer den Aktionszeitraum als eigenes Segment liest, behält beides: den Befund für die Black Week und einen sauberen Stand für die Wochen danach, gemessen mit cookieloser Analytics ohne Banner.
Dieser Beitrag stützt sich auf: NIST/SEMATECH e-Handbook of Statistical Methods, Abschnitte 7.3.3 (Vergleich zweier Anteile), 5.7 (Glossar der Versuchsplanung: Interaktion, Randomisierung, Blockbildung) und 7.4.7.3 (Bonferroni-Methode); Eurostat, Glossar „Seasonal adjustment“; Destatis, Glossar „Kalender- und saisonbereinigte Werte“; Bitkom, Presseinformation „Black Friday: Die Hälfte geht auf Schnäppchenjagd“ vom 24. November 2025, repräsentative Befragung durch Bitkom Research unter 1.120 Internetnutzenden ab 16 Jahren in Deutschland, Kalenderwoche 40 bis 41 2025; bevh, Pressemeldungen vom 10. Dezember 2024 und 11. Dezember 2025 auf Basis der Verbraucherbefragung „Interaktiver Handel in Deutschland“ mit jährlich 40.000 Befragten ab 14 Jahren; Preisangabenverordnung (PAngV), § 11; XICTRAQ-Dokumentation zu A/B-Tests und Insights; XICTRAQ-Funktionsseite Cookieless Analytics. Die Kurven, Intervalle und die Verdünnungsrechnung beruhen auf angenommenen Werten.