A/B-Testing & Automated Insights
Statistisch valide A/B-Tests starten Sie mit drei Zeilen JavaScript — Signifikanz mit echtem Two-Proportion-z-Test, kein Wischiwaschi. Parallel durchsucht XICTRAQ stündlich Ihre Daten nach statistisch auffälligen Anomalien — Traffic-Einbruch, Traffic-Spike, Bounce-Anstieg und mehr — und liefert „Automated Insights“ als verwerfbare Karten ins Dashboard.
# A/B-Testing
Variante zuweisen, Conversion melden — fertig. Kein Visual-Editor, dafür ehrliche Statistik mit Uplift und p-Wert.
Drei Zeilen JavaScript
Variante zuweisen, beim Klick Conversion melden — das ist alles. Beide Aufrufe sind Teil des Unified-Trackers (kein zusätzliches Snippet); kein WYSIWYG-Editor, kein Code-Injection-Risiko. Die Zuweisung wird über „POST /api/p/ab“ geholt, die Conversion über „POST /api/p/abc“ gemeldet.
xictraq.experiment('cta_button_v2').then(variant => {
document.getElementById('cta').textContent =
variant === 'B' ? '14 Tage gratis testen' : 'Jetzt starten';
});
document.getElementById('cta').addEventListener('click', () => {
xictraq.convert('cta_button_v2');
});Two-Proportion-z-Test mit p-Wert
Statt nur „X gewinnt“ zeigt XICTRAQ den vollständigen statistischen Befund je Variante: Besucher, Conversions, Conversion-Rate, Uplift (relative Verbesserung zur ersten Variante als Baseline) und p-Wert. Der p-Wert kommt aus einem zweiseitigen Two-Proportion-z-Test mit gepoolter Standardabweichung (Normalverteilungs-Approximation nach Abramowitz & Stegun). Ein Gewinner wird in der App grün markiert, sobald der p-Wert unter 0,05 liegt (95 %) und der Uplift positiv ist.
Sample-Size-Calculator
Vor dem Test berechnet XICTRAQ aus Ihrer Baseline-Conversion-Rate, der gewünschten Mindesterkennungs-Differenz (MDE, relativer Uplift) sowie wählbarem Konfidenzniveau (90/95/99 %) und statistischer Power (80/90/95 %, Standard 80 %) die nötige Stichprobengröße. Ausgegeben werden die nötige Besucherzahl je Variante, die Gesamtzahl (A + B), der erwartete Ziel-CR und eine geschätzte Test-Dauer bei 100 / 500 / 2.000 / 10.000 Besuchern pro Tag. So vermeiden Sie verfrühte Stopps, wenn der Test noch nicht aussagekräftig ist.
Bis zu fünf Varianten, sticky ohne Cookie
Ein Experiment hat zwei bis fünf Varianten (z. B. Control, Variant A, Variant B). Die Zuweisung ist sticky über einen salt-gehashten Session-Schlüssel (sha256 aus IP + Salt + Tagesdatum) — innerhalb eines Tages sieht derselbe Besucher dieselbe Variante, ganz ohne Cookie. Jedes Experiment läuft im Status läuft / pausiert / beendet; pausierte und beendete Tests weisen keine neuen Besucher mehr zu. Erkannte Bot-/Datacenter-Zugriffe werden weder zugewiesen noch als Conversion gezählt.
# Automated Insights
Stündlich läuft ein Cron-Job, der nach statistisch signifikanten Anomalien in Ihren Analytics-Daten sucht. Funde landen als Karten im Dashboard mit konkreter Beschreibung.
Wie der Vergleich funktioniert
Grundlage ist der Vergleich auf gleiche Wochentage: der gestrige Wert wird gegen die letzten gleichen Wochentage der vergangenen 28 Tage gestellt (z. B. Samstag gegen die letzten Samstage), damit Wochenend-Senken nicht jeden Montag einen Fehlalarm auslösen. Aus diesen Stichproben werden Mittelwert und Standardabweichung gebildet und ein z-Score berechnet. Damit kleine Seiten nicht ständig piepen, gilt eine Mindestbasis: mindestens 14 Tage Historie, mindestens drei gleiche Wochentage und im Schnitt mindestens 50 Seitenaufrufe an diesem Wochentag. Erkannte KI-Bots werden vor dem Vergleich herausgerechnet.
Was XICTRAQ aktuell erkennt
Elf Signaltypen, jeweils mit eigener Schwelle und gestufter Schwere (info / warning / critical): (1) Traffic-Einbruch — gestern mind. −40 % unter dem typischen gleichen Wochentag und z ≤ −2,5 (critical ab z ≤ −4). (2) Traffic-Spike — mind. +80 % und z ≥ 3. (3) Bounce-Anstieg — Absprungrate mind. 15 Prozentpunkte höher und signifikant (z ≥ 2,5; critical ab z ≥ 4). (4) Fehler-Spike — mind. 3 neue, bisher ungesehene JavaScript-Fehler in der letzten Stunde (critical ab 10). (5) Referrer-Ansturm — eine Referrer-Domain bringt gestern viel Traffic, war in der Vorwoche aber kaum präsent. (6) Geo-Verschiebung — das gestrige Top-Herkunftsland stellt über 40 % und war in der Vorwoche nicht dominant. (7) Geräte-Mix-Verschiebung — der Mobil-Anteil springt um mind. 25 Prozentpunkte. (8) Langsame Antwortzeit bei sinkendem Traffic — durchschnittliche Ladezeit deutlich gestiegen, während der Traffic fällt. (9) Bestellungs-Einbruch — gestern mind. −40 % weniger erfasste Bestellungen als am typischen gleichen Wochentag und z ≤ −2,5 (critical ab z ≤ −4); gerechnet wird ab durchschnittlich 8 Bestellungen an diesem Wochentag, und die Streuung gilt nie als kleiner als das Zufallsrauschen der Bestellzahl. (10) Umsatz-Einbruch — dieselben Schwellen für den Umsatz, gemeldet nur, wenn die Bestellzahl nicht selbst eingebrochen ist. Beide Shop-Signale schweigen, wenn am selben Tag schon der Traffic eingebrochen ist; dann meldet (1) die Ursache. (11) Erfassungsquote gesunken (tracker_coverage_drop) — mit dem Shopware-Bestellimport: Der Anteil der Online-Bestellungen, die der Tracker erfasst hat, liegt in den letzten drei vollständigen Tagen unter 80 % seines Werts der 28 Tage davor (critical unter 40 %), etwa weil ein Inhaltsblocker oder ein Theme-Update die Bestätigungsseite trifft; gerechnet wird ab dem ersten Tracker-Kauf, mit mindestens 14 Tagen Basis, 15 Online-Bestellungen in den drei Tagen und 60 in der Basis, und das Signal schweigt bei einem Traffic-Einbruch.
Verwerfbar, entprellt, als Alarm zugestellt
Funde erscheinen als verwerfbare Karten im Dashboard. Damit derselbe Befund nicht stündlich neu auftaucht, ist je Website und Signaltyp ein Entprell-Fenster aktiv (Standard 7 Tage, Fehler-Spike 6 Stunden). Offene Insights, die älter als 7 Tage sind, werden automatisch geschlossen — eine fortbestehende Anomalie wird danach ohnehin neu gemeldet, eine abgeklungene verschwindet. Befunde der Schwere „warning“ und „critical“ gehen zusätzlich als Alarm vom Typ „Analytics-Anomalie“ über Ihre Benachrichtigungskanäle; abbestellen lässt er sich unter Einstellungen › Benachrichtigungen in der Rubrik „Änderungen und Analytics“. Wird die Karte verworfen oder nach 7 Tagen automatisch geschlossen, schließt auch der Alarm, ohne Entwarnung.