Kostenloses Werkzeug · Stand August 2026
A/B-Test-Rechner: Ist dein Gewinner wirklich einer?
Zahlen beider Varianten eingeben. Du bekommst nicht nur ein Ja oder Nein, sondern auch die Zahl, die danach zählt: wie viele Empfänger für eine belastbare Aussage nötig wären.
Variante A
5,00 %Rate
Variante BSieger
5,90 %Rate
Variante B gewinnt. Der Unterschied ist statistisch belastbar.
- Sicherheit
- 95,3 %
- p-Wert
- 0,0474
- Unterschied
- +18,0 %
Ein p-Wert von 0,0474 heißt: Wenn beide Varianten in Wahrheit gleich gut wären, würdest du einen mindestens so großen Unterschied in 4,7 Prozent der Fälle allein durch Zufall sehen. Üblich ist die Schwelle bei 5 Prozent, also 95 Prozent Sicherheit.
Der wahre Unterschied liegt mit 95 Prozent Sicherheit zwischen 0,01 und 1,79 Prozentpunkten.
Nichts verlässt deinen Browser. Gerechnet wird auf deinem Gerät mit dem Zwei-Stichproben-z-Test für Anteile – demselben Verfahren, das die Testfunktionen der großen Plattformen einsetzen.
Ein A/B-Test ist signifikant, wenn der p-Wert unter 0,05 liegt – dann würde ein mindestens so großer Unterschied in weniger als fünf Prozent der Fälle rein zufällig auftreten. Bei 200 Empfängern je Variante und 10 gegen 12 Prozent Öffnungsrate liegt der p-Wert bei 0,52: Der scheinbare Sieger ist reines Rauschen.
Das Wichtigste in Kürze
- Die übliche Schwelle liegt bei 95 Prozent Sicherheit, also einem p-Wert unter 0,05.
- Ein p-Wert von 0,05 heißt nicht „zu 95 Prozent richtig", sondern: So selten sähe man diesen Unterschied, wenn beide Varianten gleich gut wären.
- Bei kleinen Listen ist fast nichts nachweisbar. Für einen Unterschied von 10 auf 12 Prozent braucht es rund 3.800 Empfänger je Variante.
- Unter fünf Erfolgen je Variante ist der z-Test eine unzuverlässige Näherung – dann hilft auch kein p-Wert.
- Wer den Test abbricht, sobald er signifikant aussieht, findet fast immer einen Sieger. Der Endzeitpunkt gehört vorher festgelegt.
- Signifikanz sagt, ob ein Unterschied echt ist – nicht, ob er groß genug ist, um etwas zu ändern.
Stand der Angaben: 27. August 2026 · geprüft von Advertal, offizieller ActiveCampaign-Partner seit 2017
200+ Unternehmen im Advertal Partner-Netzwerk · offizieller ActiveCampaign-Partner · seit 2017 auf eine Plattform spezialisiert
Der Fehler, der fast jedem passiert
Ein Test läuft an 400 Empfänger, 200 je Variante. Betreff A wird 20-mal geöffnet, Betreff B 24-mal. Zwölf gegen zehn Prozent – zwanzig Prozent besser! Der Betreff wird zum Standard erklärt.
Rechnet man nach, liegt der p-Wert bei 0,52. Auf Deutsch: Wenn beide Betreffzeilen exakt gleich gut wären, würde man einen solchen Unterschied in jedem zweiten Test allein durch Zufall sehen. Die Entscheidung war ein Münzwurf.
Das ist kein Randfall, sondern der Normalfall. Vier Öffnungen Unterschied bei 200 Empfängern sind statistisch nichts – aber sie sehen nach etwas aus, weil unser Kopf aus jeder Differenz eine Ursache macht.
Der zweite, subtilere Fehler ist das Abbrechen beim Hinsehen: Wer während des Tests täglich nachschaut und stoppt, sobald einmal 95 Prozent erreicht sind, findet fast immer einen Sieger – auch wenn keiner da ist. Der Endzeitpunkt gehört vor den Start.
Wie viele Empfänger es wirklich braucht
Nötige Empfänger je Variante, um den jeweiligen Unterschied bei 95 Prozent Sicherheit und 80 Prozent Teststärke nachzuweisen.
| Ausgangsrate | Gemessene Verbesserung | Nötig je Variante | Bei 5.000 Empfängern |
|---|---|---|---|
| 10 % | auf 12 % (+20 %) | rund 3.800 | reicht |
| 10 % | auf 11 % (+10 %) | rund 14.700 | reicht nicht |
| 20 % | auf 21,5 % (+7,5 %) | rund 11.500 | reicht nicht |
| 3 % | auf 6 % (+100 %) | rund 750 | reicht deutlich |
| 2 % | auf 2,2 % (+10 %) | rund 80.700 | aussichtslos |
Die Faustregel dahinter: Je kleiner die Ausgangsrate und je kleiner der Unterschied, desto größer die nötige Stichprobe – und zwar überproportional. Wer wenig Empfänger hat, sollte große Unterschiede testen, nicht Feinheiten.
Was der p-Wert sagt – und was nicht
Der p-Wert beantwortet genau eine Frage: Wie wahrscheinlich wäre dieses Ergebnis, wenn es in Wahrheit keinen Unterschied gäbe? Ein p-Wert von 0,03 heißt: in drei von hundert Fällen.
Er sagt ausdrücklich nicht, dass Variante B mit 97 Prozent Wahrscheinlichkeit besser ist. Das ist die häufigste Fehldeutung und sie führt zu übertriebenem Vertrauen in knappe Ergebnisse.
Er sagt auch nichts über die Größe des Unterschieds. Bei sehr großen Listen wird selbst ein Unterschied von 0,1 Prozentpunkten signifikant – nachweisbar echt, aber wirtschaftlich bedeutungslos. Deshalb steht im Rechner oben neben dem p-Wert das Konfidenzintervall: Es zeigt, in welchem Bereich der wahre Unterschied liegt.
Die brauchbare Reihenfolge lautet: Erst fragen, ob der Unterschied groß genug wäre, um etwas zu ändern. Dann testen, ob er echt ist.
Ein Test, dessen Ergebnis trägt
Vier Festlegungen, alle vor dem Start.
Eine Sache ändern, nicht drei
Wer Betreff, Absender und Versandzeit gleichzeitig ändert, weiß hinterher nicht, was gewirkt hat. Der Test misst dann nur, dass irgendetwas anders war.
Die Stichprobe vorher ausrechnen
Welchen Unterschied willst du erkennen können? Trag ihn oben ein und lies ab, wie viele Empfänger dafür nötig sind. Ist die Liste zu klein, teste etwas Größeres statt einer Feinheit.
Den Endzeitpunkt festlegen
Zahl der Empfänger oder Datum – vorher, schriftlich. Wer stoppt, sobald es gut aussieht, misst seine eigene Ungeduld.
Auf die richtige Kennzahl schauen
Öffnungen sind seit Apples Mail Privacy Protection unzuverlässig – Apple lädt Bilder vorab und erzeugt so Öffnungen, die keine sind. Klicks und Conversions sind belastbarer.
Der Unterschied, den kaum jemand kennt
Gleicher Preis, gleicher Funktionsumfang – plus deutschsprachiger Ansprechpartner
ActiveCampaign kostet über das Advertal Partner-Netzwerk exakt so viel wie im Direktbezug. Du startest deinen Account über uns oder verknüpfst deinen bestehenden; Preis und Funktionsumfang bleiben unverändert. Dazu bekommst du einen persönlichen Ansprechpartner auf Deutsch – ohne Aufschlag, ohne zusätzliche Vertragsbindung. Der offizielle Support von ActiveCampaign bleibt dir daneben erhalten.
Häufige Fragen
Was bedeutet statistische Signifikanz?
Dass der beobachtete Unterschied unwahrscheinlich allein durch Zufall entstanden ist. Üblich ist die Schwelle bei einem p-Wert unter 0,05: Wären beide Varianten gleich gut, sähe man einen mindestens so großen Unterschied in weniger als fünf Prozent der Fälle.
Wie viele Empfänger brauche ich für einen A/B-Test?
Das hängt von der Ausgangsrate und vom Unterschied ab, den du erkennen willst. Für eine Verbesserung von 10 auf 12 Prozent braucht es rund 3.800 Empfänger je Variante, für 10 auf 11 Prozent schon rund 14.700. Der Rechner oben nennt die Zahl für deinen Fall.
Heißt ein p-Wert von 0,03, dass B zu 97 Prozent besser ist?
Nein – das ist die häufigste Fehldeutung. Der p-Wert sagt, wie wahrscheinlich dieses Ergebnis wäre, WENN es keinen Unterschied gäbe. Er sagt nichts über die Wahrscheinlichkeit, dass B besser ist, und nichts darüber, wie viel besser.
Darf ich den Test abbrechen, sobald er signifikant ist?
Nein. Wer wiederholt hineinschaut und beim ersten grünen Ergebnis stoppt, findet fast immer einen Sieger – auch wenn keiner existiert. Der Endzeitpunkt gehört vor den Start festgelegt, als Zahl der Empfänger oder als Datum.
Welches Verfahren nutzt dieser Rechner?
Den zweiseitigen Zwei-Stichproben-z-Test für Anteile – dasselbe Verfahren, das die Testfunktionen der großen Marketing-Plattformen einsetzen. Zusätzlich wird das 95-Prozent-Konfidenzintervall für den absoluten Unterschied ausgewiesen.
Warum warnt der Rechner bei wenigen Erfolgen?
Weil der z-Test eine Näherung über die Normalverteilung ist. Sie trägt erst, wenn in jeder Variante mindestens fünf Erfolge und fünf Misserfolge vorliegen. Darunter kann der p-Wert stark danebenliegen – deshalb steht dort eine Warnung statt eines Urteils.
Sind Öffnungsraten überhaupt noch aussagekräftig?
Eingeschränkt. Apples Mail Privacy Protection lädt Bilder vorab und erzeugt dadurch Öffnungen, die keine sind – bei einem hohen Anteil an Apple-Mail-Nutzern verwässert das jeden Betreffzeilentest. Klicks und Conversions sind die belastbareren Größen.
Geprüft von
Tom Wenk, Gründer und Geschäftsführer von Advertal
Tom Wenk arbeitet seit 2017 ausschließlich mit ActiveCampaign. Mit Advertal betreut er heute über 200 Unternehmen im deutschsprachigen Raum, sitzt im ActiveCampaign Customer Advisory Board und im Partner Advisory Subcommittee und hat über 280 kostenlose Tutorials zur Plattform veröffentlicht. Die Angaben auf dieser Seite stammen aus dieser Praxis und aus Quellen, die wir am 27. August 2026 selbst geprüft haben.
Testen ist die eine Hälfte. Die richtige Frage stellen die andere.
Die meisten A/B-Tests scheitern nicht an der Statistik, sondern daran, dass zu kleine Unterschiede an zu kleinen Listen getestet werden. Wir bauen Testpläne, die zur Listengröße passen – und Automationen, in denen Ergebnisse auch ankommen.
Automatisierung kennenlernenAuch spannend: die ActiveCampaign Agentur, der kostenlose Kurs und unsere Fallstudien.