Marketing-Experimente richtig durchführen

Marketing-Experimente liefern dann belastbare Ergebnisse, wenn drei Voraussetzungen erfüllt sind: eine testbare Hypothese, messbare Erfolgskriterien und eine Laufzeit, die statistisch sinnvolle Schlüsse erlaubt. Wer nur "mal etwas ausprobiert", betreibt kein Experimentieren, sondern Raten. Dieser Leitfaden zeigt, wie du beides voneinander trennst und systematisch vorgehst.

Das Wichtigste in Kürze

• Eine Hypothese nennt die Änderung, das erwartete Ergebnis und den Grund – ohne diese drei Teile ist ein Test kein Experiment.
• Jedes Experiment braucht eine primäre Metrik, die vor dem Start festgelegt wird, nicht nach dem ersten Zwischenergebnis.
• Zu kurze Laufzeiten und zu kleine Stichproben erzeugen Ergebnisse, die beim nächsten Test nicht wiederholbar sind.
• ActiveCampaign bietet A/B-Tests für Kampagnen und Zufalls-Splits in Automationen – beide haben unterschiedliche Einsatzbereiche.
• Gelernte Erkenntnisse müssen dokumentiert werden, sonst beginnt dasselbe Experiment ein Jahr später von vorn.

Warum Experimente ohne Hypothese keine Erkenntnisse liefern

Ein Test, der keine Hypothese hat, ist eine Beobachtung. Beobachtungen sind wertvoll, aber sie erlauben keine kausalen Schlüsse. Wenn Variante B besser abschneidet als Variante A, weißt du noch nicht warum – und kannst das Ergebnis nicht auf die nächste Situation übertragen.

Eine testbare Hypothese hat drei Teile: die Änderung (was genau verändert wird und in welchem Kontext), das erwartete Ergebnis (welche Metrik sich verändert) und den Grund (warum diese Wirkung erwartet wird, basierend auf einem Verständnis der Zielgruppe). Das Format, das in der Praxis funktioniert:

"Ich glaube, dass [Änderung] zu [Ergebnis] führen wird, weil [Begründung]."

Stark formuliert – ein Vergleich

Schwach: "Lass uns die Betreffzeile testen." Das ist kein Experiment, sondern ein Vorhaben. Stark: "Ich glaube, dass eine Betreffzeile, die das konkrete Ergebnis der E-Mail benennt, höhere Öffnungsraten erzielt als eine Betreffzeile, die Neugier weckt, weil unsere B2B-Kontakte bereits wissen, was sie suchen, und weniger Zeit für Teaser haben."

Der Unterschied liegt im Erkenntnisgewinn. Die starke Hypothese lässt sich widerlegen: Wenn das Ergebnis ausbleibt, musst du deine Annahme über die Zielgruppe überprüfen. Die schwache Formulierung liefert nach dem Test nur eine Zahl, aber kein Wissen, das sich auf die nächste Kampagne überträgt.

Hypothesen aus Beobachtungen entwickeln

Viele der besten Hypothesen entstehen aus Mustern, die du in Reports siehst, aber noch nicht erklären kannst: eine bestimmte Kampagne, die deutlich mehr Klicks erzielt hat, eine Automation, die an einem bestimmten Punkt besonders viele Abmeldungen produziert, ein Segment, das anders reagiert als der Rest der Liste. Diese Beobachtungen sind der Ausgangspunkt. Die Hypothese ist der Versuch, die Ursache zu benennen und zu testen.

Welche Metriken vor dem Experiment festgelegt werden müssen

Das ist der häufigste stille Fehler bei Marketing-Experimenten: Metriken werden erst nach dem Start oder nach dem ersten Zwischenergebnis definiert. Das öffnet die Tür für Confirmation Bias – du findest die Metrik, die das Ergebnis bestätigt, das du dir gewünscht hast.

Vor jedem Experiment gehören diese Punkte schriftlich fest:

• Primäre Metrik: Eine einzige Größe, anhand derer der Gewinner bestimmt wird – Öffnungsrate, Klickrate oder Conversion, aber nur eine davon. Wer mehrere Metriken gleichzeitig als Entscheidungsbasis nimmt, kann immer eine finden, die für die bevorzugte Variante spricht.
• Mindeststichprobe: Wie viele Empfänger, Besucher oder Kontakte braucht jede Variante, damit das Ergebnis nicht vom Zufall dominiert wird? Kleine Effekte brauchen große Stichproben – das gilt unabhängig davon, welches Tool du nutzt.
• Laufzeit: Der Zeitraum muss natürliche Schwankungen abdecken. B2B-E-Mails performen an Wochentagen anders als am Wochenende; ein Test, der nur drei Werktage läuft, misst diese Schwankung nicht heraus.
• Abbruchkriterium: Wann brichst du frühzeitig ab? Nur bei schädlichen Nebeneffekten – stark erhöhter Abmelderate oder Spam-Beschwerden – nicht, weil das Zwischenergebnis unbequem ist.

Ein Punkt, der oft vergessen wird: Sekundärmetriken beobachten, aber nicht entscheiden lassen. Es ist sinnvoll, neben der Öffnungsrate auch die Abmelderate im Blick zu behalten – aber die Entscheidung über den Gewinner liegt allein bei der primären Metrik, die du vor dem Start festgelegt hast.

A/B-Tests und Automation-Splits in ActiveCampaign aufsetzen

ActiveCampaign bietet zwei technische Wege für Experimente: Split-Tests für Kampagnen und Zufalls-Splits innerhalb von Automationen. Beide decken unterschiedliche Fragestellungen ab und erfordern eine andere Auswertungslogik.

A/B-Test für E-Mail-Kampagnen – Schritt für Schritt

Mit diesem Vorgehen testest du ein einzelnes Element einer Kampagne kontrolliert gegen eine Kontrollvariante.

1. Öffne Campaigns → Create a Campaign → Split-Testing.
2. Wähle das Testelement: Subject Line, From Name oder Message Body – genau eines pro Test.
3. Lege die Aufteilung fest: Zwei Varianten mit jeweils ausreichend großem Anteil der Liste; den Rest kannst du automatisch an den Gewinner senden lassen.
4. Definiere das Gewinnkriterium: Open Rate oder Click Rate – und lege die Wartezeit fest, bevor der Gewinner automatisch versendet wird. Vier Stunden sind das Minimum, 24 Stunden sind deutlich aussagekräftiger.
5. Notiere Hypothese und erwartetes Ergebnis extern, bevor du den Test aktivierst.

Der wichtigste Punkt: Teste ein Element pro Kampagne. Wenn du Betreffzeile und Absendername gleichzeitig änderst, kannst du am Ende nicht trennen, welcher Faktor den Unterschied gemacht hat. Das Ergebnis ist dann zwar vorhanden, aber nicht interpretierbar.

Automation-Split für komplette Strecken

ActiveCampaign erlaubt es, Kontakte innerhalb einer Automation zufällig auf verschiedene Stränge aufzuteilen. Das eignet sich für Experimente auf Ebene der Welcome-Serie, des Follow-up-Timings oder des Content-Mix – also überall dort, wo nicht eine einzelne E-Mail, sondern eine Abfolge von Schritten getestet wird.

1. Füge in der Automation eine Split-Action ein: Automations → Workflow-Editor → Aktion hinzufügen → Split.
2. Lege die Aufteilung prozentual fest, zum Beispiel 50/50.
3. Weise jedem Strang ein Tag zu, das die Zugehörigkeit dokumentiert – so kannst du die Gruppen später in Reports filtern.
4. Miss das Ergebnis über Custom Fields oder die Deal-Pipeline, nicht nur über E-Mail-Metriken. Andernfalls misst du Öffnungsraten und nicht das, was für das Geschäft zählt.

Für langfristige Automation-Experimente sicherstellst du am Eintrittspunkt per Tag-Bedingung, dass Kontakte nicht versehentlich beide Stränge durchlaufen. Ein Kontakt, der Strang A schon gesehen hat und erneut in die Automation eintritt, muss direkt den bereits zugewiesenen Strang bekommen.

Typische Fehler – und wann ein Experiment nicht das richtige Mittel ist

Zu früh abbrechen

Ein Test wird nach wenigen Tagen beendet, weil Variante B deutlich vorne liegt. Das Problem ist methodisch bekannt: Zwischenergebnisse bei kleinen Fallzahlen schwanken stark; was heute führt, kann morgen gleichauf liegen. Die geplante Laufzeit wird konsequent eingehalten – außer bei schädlichen Nebeneffekten wie stark erhöhter Abmelderate. Das frühzeitige Abbrechen von Tests ist eine der häufigsten Ursachen dafür, dass Ergebnisse nicht replizierbar sind.

Mehrere Variablen gleichzeitig ändern

Betreffzeile, Absenderadresse und Inhalt in einem Test – das Ergebnis ist nicht interpretierbar. Wenn Variante B gewinnt, weißt du nicht, welche der drei Änderungen den Ausschlag gegeben hat. Wer mehrere Elemente auf einmal testen will, braucht multivariate Tests – und deutlich größere Stichproben als beim klassischen A/B-Test. Für die meisten Listen im DACH-Bereich reicht die Größe dafür nicht aus.

Externe Einflüsse nicht festhalten

Ein Test, der über einen Feiertag oder parallel zu einer anderen Kampagne läuft, misst nicht nur das Testelement, sondern auch den Kontext. Das führt zu Ergebnissen, die beim nächsten Test in einem anderen Kontext nicht wiederholbar sind. Halte fest, was während des Experiments parallel passiert ist – das gehört in die Dokumentation und erklärt Abweichungen.

Ergebnisse nicht dokumentieren

Ohne Dokumentation beginnt dasselbe Experiment ein Jahr später noch einmal. Teams, die keine Experiment-Protokolle führen, stellen dieselben Fragen wiederholt – und zahlen für dieselben Erkenntnisse mehrfach. Drei Felder reichen als Mindeststandard: Was wurde getestet, was war das Ergebnis, was wurde daraus gelernt.

Wann ein kontrolliertes Experiment nicht passt

Nicht jede Fragestellung eignet sich für ein kontrolliertes Experiment. Bei sehr kleinen Listen ist es kaum möglich, Stichproben zu bilden, die groß genug für statistisch sinnvolle Schlüsse sind – qualitative Methoden wie direkte Gespräche mit Kunden sind in diesem Fall aussagekräftiger. Wenn eine Entscheidung in zwei Tagen fallen muss und ein Experiment vier Wochen braucht, triffst du sie auf Basis des aktuellen Wissens und setzt das Experiment für die langfristige Optimierung ein. Und wenn Änderungen nicht reversibel sind, muss die ethische Dimension bedacht werden, bevor das Experiment startet.

Experiment-Dokumentation: Erkenntnisse aufbauen statt Zahlen sammeln

Eine strukturierte Dokumentation ist der Unterschied zwischen Experimenten, die Wissen aufbauen, und Experimenten, die nur Zahlen produzieren. Für jedes Experiment gehören mindestens diese Felder fest:

In ActiveCampaign findest du die Ergebnisse für E-Mail-Tests unter Reports → Campaign Reports. Für Automation-Experimente findest du sie unter Automations → Auswahl der Automation → Reports. Splits, die über Custom Fields gemessen werden, wertest du über Segmente oder einen Datenexport aus.

Sammle auch negative Ergebnisse. Ein Experiment, das die Hypothese widerlegt, ist ebenso wertvoll wie eines, das sie bestätigt. Wer nur Gewinner dokumentiert, baut keine echte Wissensbasis auf – sondern eine Sammlung von Bestätigungen. Die Frage, warum eine Hypothese falsch lag, führt meistens zu einer besseren Hypothese als die Frage, warum sie richtig lag.

Häufige Fragen

Wie viele Kontakte brauche ich für einen validen A/B-Test?

Das hängt davon ab, wie groß der erwartete Effekt ist. Kleine Unterschiede zwischen Varianten brauchen große Stichproben, damit sie nicht im Rauschen verschwinden. Als grobe Orientierung: Unter 200 Reaktionen je Variante sind Ergebnisse mit Vorsicht zu interpretieren; unter 100 Reaktionen je Variante sind sie praktisch nicht interpretierbar. Wer mit kleinen Listen arbeitet, sollte Experimente stärker bündeln oder auf qualitative Methoden setzen statt auf statistisch schwache Testergebnisse zu vertrauen.

Wann darf ich einen laufenden Test frühzeitig abbrechen?

Nur dann, wenn eine Variante messbaren Schaden verursacht: stark erhöhte Abmelderaten, Spam-Beschwerden oder technische Fehler. Nicht, weil das Zwischenergebnis unbequem ist oder eine Variante einen frühen Vorsprung hat. Wer Tests beim ersten Anzeichen einer klaren Tendenz abbricht, beendet vor allem die Tests, die knapp ausgehen – und das sind häufig die methodisch interessantesten. Wie du den richtigen Abbruchzeitpunkt bestimmst, beschreibt der Beitrag zu A/B-Tests richtig beenden.

Was unterscheidet einen A/B-Test von einem Multivariate-Test?

Bei einem A/B-Test wird eine Variable geändert; alle anderen bleiben identisch. Bei einem Multivariate-Test werden mehrere Elemente gleichzeitig variiert, um deren Zusammenspiel zu untersuchen. Multivariate Tests brauchen deutlich größere Stichproben und sind aufwendiger auszuwerten. Für die meisten E-Mail-Marketing-Kontexte reicht der A/B-Test; Multivariate Tests lohnen sich erst bei sehr großen Listen und klar definierten Fragestellungen über die Wechselwirkung von Elementen.

Was tue ich, wenn mein Experiment kein eindeutiges Ergebnis liefert?

Kein eindeutiges Ergebnis ist ein Ergebnis: Es bedeutet, dass der getestete Unterschied in diesem Kontext keine nachweisbare Wirkung hat. Mögliche nächste Schritte sind, eine deutlich stärkere Variante zu entwickeln, die Hypothese zu überarbeiten oder den Test mit einer größeren Stichprobe zu wiederholen, wenn die Fragestellung aus anderen Gründen wichtig ist. Wichtig: Auch dieses Ergebnis dokumentieren – einschließlich der Interpretation, warum kein Unterschied nachweisbar war.

Sollte ich Experimente mit dem Rest des Teams abstimmen?

Ja – nicht primär aus politischen Gründen, sondern aus methodischen. Wenn während eines Experiments parallel andere Aktivitäten laufen, kann das die Ergebnisse verfälschen. Wer das Team einbezieht, kennt die parallelen Maßnahmen und kann sie in der Auswertung berücksichtigen. Außerdem steigt die Chance, dass Ergebnisse tatsächlich genutzt werden, wenn mehr als eine Person daran beteiligt war.

Wie viele Experimente sollte ich gleichzeitig laufen lassen?

Möglichst wenige gleichzeitig auf derselben Liste. Wenn zwei Experimente gleichzeitig laufen und dasselbe Segment überschneiden, kannst du nicht sicher sagen, welches Experiment welchen Effekt verursacht hat. Besser: Experimente serialisieren oder auf klar getrennten Segmenten laufen lassen, die sich nicht überschneiden.

Systematisches Experimentieren ist keine Frage der Listengröße oder des Tools, sondern der Arbeitsweise. Die Entscheidung, Hypothesen schriftlich zu formulieren, Metriken vor dem Start festzulegen und Ergebnisse zu dokumentieren, kostet wenig Zeit – und macht den Unterschied zwischen Erkenntnissen, die sich aufbauen, und Zahlen, die nach der Kampagne vergessen werden. Wer den nächsten konkreten Schritt in ActiveCampaign sucht, findet im Beitrag zum Experiment-Canvas für A/B-Tests eine strukturierte Vorlage für die Planungsphase.