A/B-Tests für Mobile und Desktop trennen: Warum du bessere Conversion-Raten erzielst

Wer A/B-Tests ohne Gerätetrennung auswertet, riskiert Fehlentscheidungen: Eine Variante kann auf Desktop deutlich gewinnen und auf Mobile verlieren. Im Aggregat sieht man ein Unentschieden, entscheidet sich für eine Variante und optimiert damit genau halb falsch. Getrennte Tests für Mobile und Desktop liefern handlungsfähige Ergebnisse – wenn die Vorannahme stimmt und der Traffic es zulässt.

Das Wichtigste in Kürze

• Kombinierte Auswertungen maskieren Geräteinteraktionen: Varianten können sich gegenläufig verhalten, ohne dass das Gesamtergebnis es zeigt.
• Getrennte Tests sind nur dann statistisch valide, wenn die Gerätehypothese vor dem Test feststeht – nicht als nachträgliche Erklärung.
• Jedes Gerätesegment braucht seine eigene Stichprobengröße: Geringes Desktop-Volumen kann bedeuten, dass Desktop-Tests deutlich länger laufen.
• Cross-Device-Nutzer – die auf Mobile starten und am Desktop konvertieren – verzerren Geräteauswertungen systematisch und brauchen kontaktbasiertes Tracking.
• ActiveCampaign liefert Gerätedaten über Site Tracking; Landing-Page-Tests nach Gerät segmentierst du mit einem externen Testing-Tool und meldest die Ergebnisse über Tags zurück.

Warum gemischte Gerätedaten A/B-Tests unbrauchbar machen können

Stell dir vor, du testest eine neue Formulargestaltung. Variante A zeigt ein kurzes, zweistufiges Formular; Variante B ein längeres Formular mit mehr Feldern, dafür weniger Klicks insgesamt. Auf Desktop konvertiert B besser, weil Nutzer Zeit mitbringen und Details zügig eingeben können. Auf Mobile schneidet A deutlich vor, weil jedes Zusatzfeld die Abbruchrate nach oben treibt.

Im kombinierten Ergebnis heben sich die Effekte auf. Das Gesamtergebnis zeigt vielleicht einen minimalen Vorteil für A – und du nimmst an, dass es keinen bedeutenden Unterschied gibt. Was in Wirklichkeit vorliegt, nennt sich Interaktionseffekt: Der Einfluss der Variante hängt vom Gerät ab. Ohne Trennung bleibt dieser Effekt unsichtbar, weil sich Gewinne auf dem einen Gerät und Verluste auf dem anderen gegenseitig aufheben.

Wer Optimierungen nach kombinierten Ergebnissen umsetzt, serviert Desktop-Nutzern das schlechtere Erlebnis und dreht Mobile in die falsche Richtung – oder umgekehrt. Für Seiten, bei denen die Conversion je nach Gerät stark unterschiedliche Wege geht, ist das eine handfeste Quelle für ausgebliebenes Wachstum.

Welche Tests besonders anfällig für diesen Effekt sind

Nicht jeder Test ist gleich stark betroffen. Geräteinteraktionen treten besonders ausgeprägt auf, wenn das getestete Element sich je nach Eingabemethode, Viewport oder Nutzungskontext anders verhält. Das betrifft vor allem:

• Formulare und Checkout-Strecken, weil Touch-Interaktion und Tippaufwand mobil ganz anders wiegen als mit Maus und Tastatur
• Navigationsänderungen, weil Hamburger-Menüs und Hover-Interaktionen gerätespezifisch sind und sich auf Desktop und Mobile strukturell unterscheiden
• Content-Dichte und Bildgrößen, weil Viewport und Lesefluss sich auf kleinen Displays grundlegend ändern
• CTA-Position und -Größe, deren Sichtbarkeit sich durch mobiles Scrollen und den Fold-Bereich fundamental verschiebt

Bei Tests, die ausschließlich Textvarianten von Betreffzeilen, Absendernamen oder ähnliche geräteunabhängige Elemente prüfen, ist der Geräteeffekt meist gering. Dort rechnet sich die Trennung selten.

Pre-spezifiziert oder post-hoc – zwei Wege zur Geräteauswertung

Es gibt grundlegend zwei Methoden, um Geräteunterschiede in A/B-Tests sichtbar zu machen. Sie sehen ähnlich aus, haben aber sehr unterschiedliche statistische Eigenschaften – und wer sie verwechselt, zieht falsche Schlüsse.

Pre-spezifizierte Gerätetrennung

Bei dieser Methode legst du vor dem Start des Tests fest: Du erwartest, dass Variante B auf Mobile bessere Ergebnisse erzielt als auf Desktop, weil Nutzer unterwegs weniger Zeit für mehrstufige Prozesse haben. Diese Hypothese schreibst du auf, bevor du den Test konfigurierst und startest.

Danach läufst du zwei unabhängige Tests gleichzeitig – einen für Mobile-Traffic, einen für Desktop. Jeder Test hat seine eigene Erfolgsdefinition und seinen eigenen Stichprobenplan. Das Ergebnis der beiden Tests kann danach direkt verglichen werden. Weil die Segmentierung vor dem Test feststand, ist das Risiko für False Positives – zufällige Scheingewinner – gering. Die statistische Signifikanz des jeweiligen Tests gilt für genau das Segment, das du vorab definiert hast.

Diese Methode kostet mehr Planung und mehr Traffic. Dafür sind die Ergebnisse belastbar und direkt handlungsfähig: Du weißt, welche Variante auf welchem Gerät gewinnt, und kannst sie getrennt ausrollen.

Post-hoc-Segmentierung – explorativ, aber risikobehaftet

Hier führst du einen einzigen Test durch und teilst die Ergebnisse anschließend nach Gerät auf. Das klingt effizient, hat aber einen zentralen Haken: Wenn du viele Segmente nachträglich auswertest – Gerät, Browser, Betriebssystem, Tageszeit – steigt die Wahrscheinlichkeit, dass eines davon zufällig einen Unterschied zeigt. Die statistische Signifikanz des Gesamttests schützt dich bei nachträglichen Untergruppen nicht.

Post-hoc-Segmentierung ist trotzdem sinnvoll – als Entdeckungsinstrument. Wenn du nachträglich siehst, dass Mobile und Desktop entgegengesetzte Reaktionen gezeigt haben, weißt du: Beim nächsten Test formulierst du eine Gerätehypothese und planst getrennte Tests. Sie ist der Startpunkt für echte Gerätetests, nicht ihr Ersatz. Befunde aus post-hoc-Segmentierungen immer als Hypothesen dokumentieren, nie direkt ausrollen.

Sample Size: Wie viel Traffic brauchst du für getrennte Gerätetests?

Das größte praktische Hindernis bei getrennten Gerätetests ist die Stichprobengröße. Wenn du Mobile und Desktop als zwei unabhängige Tests betreibst, braucht jedes Segment genug Traffic für eine zuverlässige Aussage. Die erforderliche Menge hängt davon ab, welchen Effekt du als relevant für dein Geschäft definierst: Wer eine Verbesserung von 5 Prozentpunkten nachweisen will, braucht deutlich mehr Besucher als jemand, dem erst ein Unterschied von 20 Prozentpunkten eine Entscheidung wert ist.

Das Ungleichgewicht-Problem bei Device-Traffic

In den meisten DACH-Projekten liegt der mobile Anteil heute häufig bei mehr als der Hälfte des gesamten Traffics, oft deutlich darüber. Das bedeutet: Wenn 70 Prozent deiner Besucher mobil sind, bekommt der Desktop-Test nur 30 Prozent des Gesamtvolumens. Dein Desktop-Test läuft dadurch mehr als doppelt so lange, um dieselbe statistische Aussagekraft zu erreichen wie der Mobile-Test.

In der Praxis führt das zu einer klassischen Falle: Der Mobile-Test ist längst abgeschlossen, während der Desktop-Test noch läuft. Wer an diesem Punkt ungeduldig wird und den Desktop-Test vorzeitig stoppt, erhält keine belastbaren Ergebnisse. Wer wartet, läuft Gefahr, dass sich im Desktop-Test inzwischen externe Einflüsse – Saison, Werbebudget, Algorithmusänderungen – einschleichen und das Ergebnis verfälschen.

Die Entscheidungsmatrix: Wann sich getrennte Tests lohnen

Bevor du mit dem Setup beginnst, beantworte drei Fragen:

1. Habe ich für jedes Gerätesegment genug Traffic, um innerhalb von vier bis sechs Wochen statistische Signifikanz zu erreichen? Wenn nicht, ist Post-hoc-Segmentierung der sinnvollere Weg.
2. Gibt es einen plausiblen Grund, warum die getestete Variante auf Mobile und Desktop unterschiedlich wirkt? Wenn die Änderung geräteunabhängig ist – zum Beispiel ein anderer E-Mail-Betreff – bringt die Trennung keinen Mehrwert.
3. Ist dein Team in der Lage, zwei parallele Tests zu pflegen und auszuwerten? Getrennte Tests bedeuten doppelten Koordinationsaufwand; ein sorgfältig durchgeführter konsolidierter Test ist wertvoller als zwei schlecht verwaltete getrennte Tests.

Wenn du alle drei Fragen mit Ja beantworten kannst, rechnen sich getrennte Tests. Wenn auch nur eine Antwort Nein ist, beginne mit dem exploratorischen Weg: Führe einen Test durch, werte hinterher nach Gerät aus und nutze das als Grundlage für die nächste Hypothese.

So richtest du getrennte Gerätetests in ActiveCampaign ein

ActiveCampaign eignet sich direkt für Gerätetests bei E-Mail-Automationen und Follow-up-Sequenzen. Für Landingpages und Website-Oberflächen brauchst du ein externes Testing-Tool; die Ergebnisse fließen dann über Tags und Custom Fields in ActiveCampaign ein.

Schritt für Schritt: Gerät-Tags über Site Tracking setzen

Das Fundament ist eine sauber aufgebaute Gerätesegmentierung im Kontaktdatensatz. So legst du sie an:

1. Site Tracking aktivieren: Einstellungen → Tracking → Site Tracking → Tracking-Code generieren und auf deiner Website einbinden. Der Code erfasst automatisch, ob ein Aufruf von einem mobilen Gerät oder einem Desktop kommt.
2. Gerät-Automation erstellen: Automationen → Neu erstellen → Eintrittspunkt: Site Tracking – Seite besucht → Bedingung hinzufügen: Gerät ist Mobil → Aktion: Tag hinzufügen mit dem Wert Gerät-Mobile. Dasselbe für Desktop mit dem Tag Gerät-Desktop.
3. Kontaktliste segmentieren: Erstelle in Kontakte → Segmente zwei Segmente – eines mit dem Tag Gerät-Mobile, eines mit Gerät-Desktop. Diese Segmente bildest du im Test als Eintrittspunkt-Filter ab.
4. Separate A/B-Automationen anlegen: Für die zu testende Sequenz erstellst du zwei parallele Automationen – eine für das Mobile-Segment, eine für Desktop. In jeder Automation baust du den A/B-Split ein: Automationen → Schritt hinzufügen → A/B-Split → Variante A und Variante B definieren.
5. Conversion-Ziele getrennt messen: Lege für den Mobile-Test und den Desktop-Test je ein eigenes Automation-Ziel an (Ziel hinzufügen → Bedingung: Formular ausgefüllt oder Kauf). So misst ActiveCampaign die Conversion-Rate pro Gerätesegment separat.
6. Ergebnisse auswerten: Automationen → Berichte → Automation-Performance. Vergleiche Conversion-Rate und Abschluss-Rate der beiden Varianten innerhalb jedes Gerätesegments. Für eine konfidenzgewichtete Auswertung exportiere die Rohdaten als CSV.

Externer Landingpage-Test mit Rückmeldung an ActiveCampaign

Für Landingpage- und Website-Tests nach Gerät empfehlen sich Testing-Tools wie VWO, AB Tasty oder Convert. Die Verbindung mit ActiveCampaign baust du so auf:

1. Im Testing-Tool eine Geräteregel definieren: Erstelle zwei separate Experiences – eine für Mobile, eine für Desktop – oder aktiviere eine Device-Targeting-Bedingung, die den Traffic vor der Variantenzuteilung trennt. Alle gängigen Tools unterstützen das über User-Agent-Filterung.
2. Beim Conversion-Event ein Tag in ActiveCampaign setzen: Wenn ein Besucher das Formular abschickt oder kauft, rufst du über JavaScript das ActiveCampaign-Event-Tracking auf und übergibst die Informationen zu Variante und Gerät als Tag oder Custom Field. Dein Testing-Tool stellt dafür eine Callback-Funktion bereit.
3. In ActiveCampaign auswerten: Kontakte → Segmente → Filter nach dem jeweiligen Varianten-Tag. Die Anzahl und Qualität der Kontakte zeigt dir, welche Landing-Page-Variante je Gerät besser konvertiert hat.

Typische Fehler bei Gerätetests – und was dagegen hilft

Post-hoc-Befund als Beweis behandeln

Wenn du nachträglich siehst, dass Mobile für Variante B besser abschneidet als Desktop, ist das noch kein Beweis. Es ist eine Hypothese für den nächsten Test. Wer den Befund sofort ausrollt, folgt möglicherweise einem Zufallsergebnis – besonders dann, wenn du viele Segmente gleichzeitig ausgewertet hast. Gegenmaßnahme: Post-hoc-Befunde immer als Hypothesen dokumentieren und in einem neuen, pre-spezifizierten Test bestätigen, bevor du rollst.

Cross-Device-Nutzer nicht berücksichtigen

Viele Nutzer beginnen ihre Customer Journey mobil – sie sehen ein Angebot, klicken an, überlegen – und konvertieren Stunden oder Tage später am Desktop. Rein gerätebasiertes Tracking sieht dann: Mobile ohne Abschluss, Desktop mit Abschluss. Die mobile Phase fließt gar nicht in die Geräteauswertung ein. Das führt dazu, dass Mobile systematisch schlechter aussieht als es tatsächlich ist.

Die sauberste Lösung ist kontaktbasiertes Tracking: Sobald ein Nutzer eine E-Mail-Adresse hinterlässt oder eingeloggt ist, ordnet ActiveCampaign alle folgenden Geräteinteraktionen demselben Kontaktdatensatz zu. Für vollständig anonyme Besucher bleibt eine Lücke – minimiere sie, indem du den Conversion-Trigger möglichst früh im Funnel ansetzt, wenn der Kontakt bereits identifiziert ist.

Tests zu unterschiedlichen Zeitpunkten beenden

Wenn du den Mobile-Test nach drei Wochen stoppst und den Desktop-Test erst nach sechs Wochen, misst du zwangsläufig unterschiedliche Marktmomente. Saison, Wettbewerb und Traffic-Qualität können sich in dieser Zeit ändern. Beide Tests müssen deshalb parallel starten und parallel enden – unabhängig davon, wann welches Segment seine Zielstichprobengröße erreicht.

Tageszeit-Konfundierungen ignorieren

Mobile-Traffic häuft sich oft abends und am Wochenende; Desktop-Traffic dominiert häufig an Werktagen zwischen neun und achtzehn Uhr. Wenn du nachträglich nach Gerät austeilst, kann ein vermeintlicher Mobile-Befund eigentlich ein Tageszeit-Effekt sein. Teste deshalb immer über vollständige Wochen – mindestens zwei – und beende beide Tests an denselben Wochentagen, an denen du sie gestartet hast.

Signifikanzprüfung nur auf die Gesamtstichprobe anwenden

Wenn du einen kombinierten Test auf Signifikanz prüfst und danach die Geräte-Untergruppen isoliert betrachtest, gilt die Signifikanzaussage nicht für die Untergruppen. Jedes Segment braucht seine eigene Stichprobenplanung und eigene Signifikanzprüfung. Wer nur das Gesamtergebnis als Signifikanznachweis heranzieht und dann geräteweise auswertet, erhöht die Fehlerrate erheblich. Mehr dazu im Beitrag zu statistischer Signifikanz bei A/B-Tests richtig auswerten.

Wann du Mobile und Desktop nicht trennen solltest

Getrennte Tests sind ein Mehraufwand, der sich nur unter bestimmten Bedingungen lohnt. In folgenden Situationen erzielst du zuverlässigere Ergebnisse mit einem einzigen gut geplanten Test:

Dein Traffic ist zu gering für saubere Segmente

Wer pro Gerätesegment keine ausreichende Stichprobe aufbaut, verlängert Tests ins Unendliche oder bricht sie zu früh ab – beides produziert unbrauchbare Ergebnisse. Prüfe realistisch, ob du im schwächeren Segment in vier bis sechs Wochen genug Conversions erreichst. Wenn nicht, ist ein konsolidierter Test mit anschließender exploratorischer Auswertung die ehrlichere Wahl. Welche Methoden es gibt, wenn das Volumen grundsätzlich klein ist, zeigt der Beitrag zu A/B-Tests bei wenig Traffic.

Die getestete Änderung ist geräteunabhängig

Ein anderer E-Mail-Betreff wirkt auf Mobile- und Desktop-Empfänger weitgehend gleich – beide lesen ihn in der Inbox-Liste. Ein anderer Absendername ist ähnlich geräteneutral. Wer diese Elemente nach Gerät trennt, erzeugt Mehraufwand ohne inhaltlichen Grund. Die Regel: Trenne nach Gerät nur dann, wenn du eine konkrete, plausible Hypothese hast, warum das Gerät den Effekt der Variante beeinflusst.

Die Komplexität übersteigt den erwarteten Mehrwert

Zwei parallele Tests bedeuten doppelte Kommunikation, doppelte Dokumentation und doppeltes Risiko, dass jemand einen der Tests vorzeitig abbricht oder falsch auswertet. Wenn das Team das operativ nicht tragen kann, ist es besser, einen sauber geplanten und durchgeführten konsolidierten Test zu machen als zwei schlecht verwaltete getrennte. Getrennte Tests skalieren mit der Reife des Testing-Programms – sie sind kein Einstiegsformat.

Der Funnel selbst ist noch nicht validiert

Wenn du einen neuen Funnel oder eine neue Landing Page erst kürzlich live gebracht hast, lohnt es sich, zunächst grundlegende Hypothesen zu testen, die unabhängig vom Gerät gelten: Ist die Hauptaussage klar? Versteht der Besucher, was er tun soll? Erst wenn diese Grundlagen stehen und du weißt, dass der Funnel grundsätzlich konvertiert, macht die Gerätesegmentierung Sinn – weil du dann gezielte Hypothesen über geräteabhängige Reibungspunkte entwickeln kannst.

Häufige Fragen

Wie lange müssen getrennte Mobile- und Desktop-Tests laufen?

Beide Tests müssen mindestens zwei vollständige Wochen laufen, um Tageszeit- und Wochentag-Effekte auszugleichen. Die eigentliche Laufdauer hängt von deinem Traffic und der definierten Mindeststichprobengröße ab. Da Desktop in der Regel weniger Traffic hat, ist der Desktop-Test der steuernde Faktor: Erst wenn er seine Zielstichprobe erreicht, beendest du beide Tests gleichzeitig. Starte und beende sie an denselben Wochentagen.

Kann ActiveCampaign A/B-Tests direkt nach Gerät trennen?

Für E-Mail-Sequenzen und Automationen ja: Mit Site Tracking und Gerät-Tags segmentierst du deine Kontakte, bevor sie in eine Automation eintreten, sodass jede Automation nur ein Gerätesegment erhält. Für Landingpage-Tests brauchst du ein externes Tool wie VWO, AB Tasty oder Convert, das Gerätekategorien als Targeting-Bedingung kennt. Die Ergebnisse meldest du über Tags oder das Event-Tracking-API zurück an ActiveCampaign.

Was mache ich, wenn mein Desktop-Traffic für einen eigenen Test zu klein ist?

Führe zunächst einen konsolidierten Test durch und werte anschließend die Desktop-Daten explorativ aus. Wenn sich ein Geräteinteraktionseffekt andeutet, dokumentiere das als Hypothese für den nächsten Test. Sobald dein Desktop-Volumen ausreicht – durch organisches Wachstum oder breitere Kampagnen –, führe dann einen pre-spezifizierten Gerätetest durch. Bayesianische Testmethoden können in der Zwischenzeit auch bei kleinen Volumen belastbarere Aussagen liefern als klassische Frequentist-Tests.

Wie gehe ich mit Nutzern um, die zwischen Mobile und Desktop wechseln?

Kontaktbasiertes Tracking ist die sauberste Lösung: Sobald ein Nutzer dir bekannt ist – durch eine E-Mail-Adresse, einen Login oder ein ausgefülltes Formular –, ordnet ActiveCampaign alle folgenden Geräteinteraktionen demselben Datensatz zu. Für vollständig anonyme Besucher bleibt eine Lücke. Minimiere sie, indem du Conversion-Trigger möglichst früh im Funnel ansetzt und Kontakte so schnell wie möglich identifizierst.

Sollte ich für den Mobile- und den Desktop-Test dieselbe primäre Conversion-Metrik verwenden?

Nicht zwingend. Wenn Mobile-Nutzer selten direkt kaufen, aber häufig Leads einbringen, die am Desktop später konvertieren, ist die Lead-Rate die sinnvollere Primärmetrik für den Mobile-Test. Für Desktop testest du eher auf Kauf-Conversion. Das bedeutet: Beide Tests können unterschiedliche Primärmetriken haben – das ist vollkommen in Ordnung, solange du das vorab festlegst und nicht nachträglich die Metrik änderst, die besser aussieht.

Zählen getrennte Tests doppelt auf mein Testing-Kontingent an?

Das hängt vom Tool ab. Die meisten Testing-Tools rechnen nach Unique Visitors oder monatlichem Traffic, nicht nach Anzahl der Experimente. Weil du denselben Gesamttraffic auf zwei Tests aufteilst, bleibt das Kontingent gleich. Überprüfe das in den Bedingungen deines Testing-Tools, da manche Plattformen nach aktiven Experimenten abrechnen.

Wer getrennte Gerätetests plant, stellt oft fest, dass die eigentliche Herausforderung nicht das technische Setup ist, sondern die Disziplin beim Auswerten: Kaum ein Befund verleitet so stark zu voreiligen Schlüssen wie ein gerätebasiertes Ergebnis. Die Absicherung kommt durch klare Vorannahmen, ausreichend Traffic pro Segment und konsequent parallele Testlaufzeiten. Wer das umsetzt, bekommt Ergebnisse, aus denen echte Entscheidungen folgen – keine Kompromisse, die für keines der Segmente wirklich passen. Die konkrete Umsetzung in ActiveCampaign – von der Gerät-Tag-Automation bis zur Conversion-Messung – zeigt unser ActiveCampaign-Service.