Validität im Marketing Research: 7 Kriterien für aussagekräftige Marktforschung

Validität beschreibt in der Marktforschung, ob du tatsächlich das misst, was du messen willst. Eine Kundenbefragung kann technisch einwandfrei ausgeführt sein und trotzdem in die Irre führen, wenn das Messinstrument am eigentlichen Kern vorbeigeht. Die sieben Validitätskriterien helfen dir, genau das zu verhindern – von der ersten Fragebogengestaltung bis zur Auswertung der Testergebnisse.

Das Wichtigste in Kürze

• Validität fragt: Misst du wirklich das, was du messen willst? Reliabilität fragt: Misst du es reproduzierbar? Beide Kriterien sind nötig – valide, aber unzuverlässige Daten nützen nichts.
• Die sieben Validitätstypen bauen aufeinander auf: Augenschein- und Inhaltsvalidität sichern das Fundament, Konstruktvalidität prüft das abstrakte Konzept, interne und externe Validität schützen Schlussfolgerungen und Übertragbarkeit.
• Die häufigsten Fehler entstehen nicht bei der Auswertung, sondern vorher: beim Fragebogendesign, bei der Stichprobenauswahl und bei der Missinterpretation von Korrelation als Kausalität.
• Für A/B-Tests in ActiveCampaign sind interne Validität und statistische Schlussvalidität die kritischen Hürden – ohne ausreichende Stichprobengröße und Testdauer sind Ergebnisse nicht auswertbar.
• Keine der sieben Validitätsarten allein reicht aus. Erst das Zusammenspiel mehrerer Kriterien gibt Daten ihre Aussagekraft.

Was Validität von Reliabilität und Objektivität unterscheidet

Validität ist eines von drei klassischen Gütekriterien der empirischen Forschung, die im Alltag oft verwechselt werden. Bevor du einzelne Validitätstypen prüfst, lohnt es sich, die Abgrenzung sauber zu ziehen – weil daraus folgt, welches Problem du eigentlich löst.

Objektivität fragt: Kommen verschiedene Personen mit demselben Instrument zu denselben Ergebnissen? Ein standardisierter Online-Fragebogen hat hohe Objektivität, weil er keine Interviewereinflüsse zulässt. Ein Tiefeninterview hat niedrigere Objektivität, weil die Person, die es führt, das Ergebnis durch Nachfragen, Tonlage und Protokollierungsweise prägt. Objektivität ist die Grundvoraussetzung: Ohne sie lassen sich weder Reliabilität noch Validität sinnvoll prüfen.

Reliabilität fragt: Liefert das Instrument bei Wiederholung unter gleichen Bedingungen konsistente Ergebnisse? Eine Waage, die dasselbe Gewicht einmal mit 80 kg und beim nächsten Versuch mit 75 kg anzeigt, ohne dass sich am Objekt etwas geändert hat, ist nicht reliabel. Im Marketing-Kontext bedeutet niedrige Reliabilität: Deine Kundenzufriedenheitsbefragung liefert bei derselben Zielgruppe in zwei Wellen Ergebnisse, die nicht vergleichbar sind – nicht weil sich die Zufriedenheit geändert hat, sondern weil das Instrument schwankt.

Validität fragt: Misst das Instrument das richtige Konzept? Eine Waage, die jedes Mal exakt 80 kg anzeigt, ist reliabel. Wenn sie dabei die Körpergröße misst, ist sie trotzdem nicht valide für Gewichtsmessungen. Auf Marketing übertragen: Ein Fragebogen, der jedes Mal dieselben Antworten erzeugt, misst möglicherweise konsistent das Falsche.

Das Verhältnis zwischen den drei Kriterien ist asymmetrisch. Ohne Objektivität kann ein Instrument weder reliabel noch valide sein. Ohne Reliabilität kann es nicht valide sein – denn ein Instrument, das bei derselben Messgröße schwankt, kann kein theoretisches Konzept stabil abbilden. Aber ein reliables Instrument muss nicht valide sein. Für Marketingentscheidungen bedeutet das: Erst wenn alle drei Kriterien erfüllt sind, darfst du Ergebnissen wirklich vertrauen.

Die sieben Validitätstypen im Überblick

Die Validitätsforschung kennt mehrere Systematisierungen. Für Marketing Research haben sich diese sieben Typen als besonders relevant erwiesen – je nach Forschungsdesign stehen andere davon im Vordergrund:

Augenscheinvalidität und Inhaltsvalidität: Das Fundament des Instruments

Augenscheinvalidität – im Englischen Face Validity – ist kein statistisches Maß, sondern eine subjektive Erstbewertung. Sie beantwortet die Frage: Würde eine sachkundige Person, die das Instrument sieht, bestätigen, dass es das Richtige misst? Der Wert liegt nicht in wissenschaftlicher Strenge, sondern im Praxisnutzen: Probanden, die einen Fragebogen als sinnlos erleben, geben unaufmerksame Antworten. Teams, die ein Messinstrument für ungeeignet halten, wenden es nicht konsequent an.

Augenscheinvalidität allein rechtfertigt keine Entscheidungen. Sie ist ein Vorfilter, der offensichtliche Fehler aufdeckt – mehr nicht. Wenn du einen Fragebogen zur E-Mail-Präferenz entwickelst und Fragen zu Lieblingsfarben aufnimmst, ist die fehlende Augenscheinvalidität ein Signal, nicht ein Beweis.

Inhaltsvalidität geht systematisch tiefer. Sie prüft, ob das Instrument alle inhaltlich relevanten Dimensionen des Forschungsziels abdeckt. Wer die E-Mail-Präferenzen seiner Abonnenten verstehen will, reicht es nicht aus, nur nach der gewünschten Frequenz zu fragen. Ein inhaltsvalides Instrument deckt auch ab:

• Abonnenten beurteilen, ob die Inhalte für ihre Situation relevant sind – das bestimmt maßgeblich, wie sie auf Frequenz und Format reagieren.
• Das bevorzugte Format – reiner Text oder HTML-Newsletter – beeinflusst Leseverhalten und Klickbereitschaft unterschiedlich stark.
• Die Gerätenutzung der Zielgruppe prägt, welche Inhaltstypen und Darstellungsformen überhaupt wahrgenommen werden.
• Ob Abonnenten jederzeit und unkompliziert abmelden können, wirkt sich auf das wahrgenommene Vertrauen in den Absender aus.
• Das grundlegende Vertrauen in die Marke entscheidet, ob E-Mails überhaupt geöffnet werden – unabhängig von Betreffzeile oder Versandzeitpunkt.

Inhaltsvalidität entsteht durch eine systematische Dimensionsanalyse vor der Fragebogenentwicklung, nicht durch nachträgliches Hinzufügen von Fragen. Wer erst den Fragebogen schreibt und danach prüft, ob alle Dimensionen vorkommen, hat das Instrument bereits im Bauch – und nimmt nicht wahr, was fehlt.

Wie du Inhaltsvalidität praktisch sicherst

1. Forschungsziel präzisieren: Schreibe das Ziel als vollständige Frage, die du nach der Erhebung beantworten können willst. Enthält die Frage mehr als einen Sachverhalt, teile sie in mehrere Teilfragen auf.
2. Dimensionen ableiten: Liste alle inhaltlichen Teilbereiche auf, die zu diesem Ziel gehören. Mindestens vier, maximal acht. Dimensionen, die du nicht benennen kannst, kannst du auch nicht messen.
3. Fragen und Dimensionen zuordnen: Erstelle eine Tabelle: Dimension links, geplante Fragen rechts. Fragen ohne Dimension kommen raus. Dimensionen ohne Fragen bekommen mindestens eine.
4. Kognitive Interviews durchführen: Lass zwei bis drei Personen aus der Zielgruppe den Fragebogen laut vorlesen und kommentieren, was sie sich dabei denken. Das ist kein Pretest auf Verständlichkeit, sondern eine inhaltliche Überprüfung: Wird die Frage so verstanden, wie sie gemeint ist?

Konstruktvalidität: Das schwierigste Kriterium in der Praxis

Konstruktvalidität prüft, ob ein Messinstrument das theoretische Konstrukt erfasst, das es erfassen soll. Konstrukte wie Markentreue, Kaufbereitschaft oder Kundenzufriedenheit existieren nicht physisch – sie sind theoretische Konzepte, die aus beobachtbarem Verhalten erschlossen werden. Genau das macht ihre Messung schwierig und fehleranfällig.

Das Problem taucht regelmäßig bei Lead-Scoring-Modellen auf: Ein Unternehmen misst Kaufbereitschaft über E-Mail-Öffnungen und Websitebesuche. Wenn dieselben Signale auch von Wettbewerbern ausgelöst werden, die Angebotspreise vergleichen, misst das Scoring-Modell etwas anderes als beabsichtigt – nämlich allgemeines Interesse am Thema, nicht Kaufabsicht gegenüber diesem Anbieter.

Konvergente Validität

Verschiedene Methoden zur Messung desselben Konstrukts sollten ähnliche Ergebnisse liefern. Wenn deine Umfrage hohe Markentreue zeigt, aber die Wiederkaufsrate und die Weiterempfehlungsbereitschaft niedrig sind, liegt ein konvergentes Validitätsproblem vor: Die Methoden messen nicht dasselbe Konstrukt – oder das Konstrukt ist so definiert, dass es sich widersprüchlich verhält.

Diskriminante Validität

Unterschiedliche Konstrukte sollten sich in der Messung auch unterscheiden. Wenn dein Kundenzufriedenheits-Score und dein Markenbekanntheitswert extrem hoch korrelieren, misst du möglicherweise dasselbe – nicht zwei getrennte Konzepte. Das schwächt beide Messwerte, weil sie keine eigenständige Information mehr liefern.

Konstruktvalidität im Lead Scoring mit ActiveCampaign

Konstruktvalidität ist der Grund, warum ein Lead Score aus mehreren unterschiedlichen Signaltypen bestehen sollte. Öffnungsverhalten allein misst Interesse an E-Mails, nicht Kaufbereitschaft. Erst die Kombination aus Öffnungsverhalten, Klicks auf produktrelevante Inhalte, Website-Verhalten auf Preis- und Feature-Seiten sowie Formulareingaben nähert sich dem Konstrukt Kaufbereitschaft an. In Lead Scoring mit ActiveCampaign lässt sich das über kombinierte Scoring-Regeln abbilden, die verschiedene Engagement-Dimensionen unterschiedlich gewichten.

Interne Validität: Wann Kausalaussagen erlaubt sind

Interne Validität ist das entscheidende Kriterium bei A/B-Tests und Kampagnenauswertungen. Sie stellt sicher, dass ein beobachteter Effekt tatsächlich durch die getestete Variable verursacht wird – und nicht durch etwas anderes, das gleichzeitig passiert ist.

Die häufigsten Bedrohungen der internen Validität im Marketing-Kontext:

• Selektion: Testgruppen unterscheiden sich systematisch voneinander – etwa weil eine Gruppe aus langjährigen Bestandskunden besteht und die andere aus Neukontakten, die das Produkt kaum kennen.
• Geschichte: Zwischen Teststart und Ergebnis tritt ein externes Ereignis ein, das das Ergebnis beeinflusst – ein Wettbewerber startet eine Rabattaktion, ein Medienthema macht das Produkt plötzlich relevant oder irrelevant.
• Reifung: Die Testpersonen verändern sich über den Testzeitraum – nicht wegen der Maßnahme, sondern weil Zeit vergeht und sich Verhalten, Bedürfnisse oder Stimmung ändern.
• Testeffekt: Die erste Messung beeinflusst die zweite. Wer einmal nach seiner Einstellung zu einem Thema befragt wurde, denkt beim zweiten Mal bereits anders darüber nach – nicht weil sich etwas geändert hat, sondern weil die erste Befragung selbst eine Wirkung hatte.
• Instrumentierung: Die Messmethode verändert sich im Lauf des Tests – durch System-Updates, Tracking-Änderungen oder unterschiedliche Erhebungsbedingungen zu verschiedenen Zeitpunkten.

Randomisierung ist das stärkste Mittel gegen Selektionsbedrohungen: Wenn jeder Kontakt zufällig einer Testgruppe zugeteilt wird, gleichen sich bekannte und unbekannte Störvariablen über die Gruppen hinweg aus. ActiveCampaign verteilt Kontakte in A/B-Tests nach diesem Prinzip – allerdings nur, wenn du die Bedingungen richtig konfigurierst und keine manuellen Eingriffe in die Gruppenverteilung vornimmst.

Externe Validität: Wann sich Ergebnisse verallgemeinern lassen

Externe Validität fragt, ob Ergebnisse aus einer Stichprobe auf die Grundgesamtheit übertragbar sind. Das ist in der Marketing-Praxis einer der häufigsten blinden Flecken: Tests werden an aktiven Abonnenten durchgeführt, die Erkenntnisse danach auf alle Kontakte angewendet.

Aktive Abonnenten sind systematisch anders als inaktive: Sie öffnen E-Mails, klicken, kaufen häufiger. Erkenntnisse über ihr Verhalten sagen wenig darüber aus, wie reaktivierte Kontakte oder kaltakquirierte Leads auf dieselbe Maßnahme reagieren würden. Das Testergebnis ist valide für die Gruppe, die getestet wurde – und für keine andere.

Drei Dimensionen der externen Validität

Populationsvalidität fragt: Entspricht deine Stichprobe der Zielpopulation in allen relevanten Merkmalen? Wenn du eine nationale Kampagne planst und für den Test nur Kontakte aus einer Stadtregion heranzieht, fehlt die geografische Repräsentativität. Wenn nur Personen über 40 im Sample sind, fehlt die demografische.

Ökologische Validität fragt: Entspricht die Testsituation dem echten Nutzungskontext? Ein E-Mail-Test mit optimierten Betreffzeilen, perfekter Ladezeit und mobiloptimierten Bildern liefert andere Ergebnisse als der Regelbetrieb mit technischen Schwankungen und Empfängern in unterschiedlichen Situationen.

Zeitliche Validität fragt: Gelten Ergebnisse nur für den Testzeitraum oder dauerhaft? Erkenntnisse aus einer Black-Friday-Kampagne lassen sich nicht auf die erste Januarwoche übertragen. Erkenntnisse aus einem Monat ohne Ferien und ohne besondere Ereignisse lassen sich möglicherweise auch nicht auf den August übertragen.

Statistische Schlussvalidität: Wann Zahlen belastbar sind

Statistische Schlussvalidität prüft, ob der statistische Zusammenhang zwischen Ursache und Wirkung korrekt und stabil gemessen wurde. Zwei Fehler treten in der Praxis besonders häufig auf, und beide führen zu Entscheidungen, die auf falschen Schlüssen beruhen.

Zu kleine Stichproben: Ein Effekt ist real, wird aber durch Zufall nicht gefunden, weil die Gruppe zu klein ist. Diesen Fehler – falsch negativ, auch Fehler zweiter Art genannt – begeht, wer mit 50 Kontakten pro Testgruppe einen A/B-Test auswertet und bei fehlendem Unterschied schlussfolgert, die Variante funktioniere nicht. Es könnte schlicht an fehlender statistischer Power liegen.

Zu frühes Stoppen: Man liest die Ergebnisse aus, sobald ein Unterschied sichtbar wird – Peeking im englischen Fachjargon. Das erhöht die Wahrscheinlichkeit erheblich, einem zufälligen Ausschlag zu folgen und ihn für ein echtes Signal zu halten. Statistisch korrekt ist es, die Testgröße und Testdauer vor dem Start festzulegen und nicht nachträglich anzupassen.

Für A/B-Tests im E-Mail-Marketing bedeutet das: Stichprobengröße, Testdauer und Erfolgsmetrik müssen definiert sein, bevor der erste Kontakt die Variante sieht. Nachträgliches Justieren der Auswertungsgrundlage hebt die statistische Schlussvalidität auf.

Kriteriumsvalidität: Stimmen Vorhersagen und Realität überein?

Kriteriumsvalidität misst, wie gut ein Instrument bekannte oder zukünftige Ergebnisse vorhersagt. Im Gegensatz zu den anderen Validitätstypen geht es hier nicht um das Messverfahren selbst, sondern um den Vergleich mit einem externen Außenkriterium.

Prädiktive Validität

Können deine Messungen zukünftige Ereignisse vorhersagen? Ein Lead Scoring hat prädiktive Validität, wenn Leads mit hohem Score nachweislich häufiger zu Kunden werden als solche mit niedrigem Score. Dieser Zusammenhang muss nicht nur einmal gelten, sondern stabil über verschiedene Zeiträume und Segmente hinweg. Wenn das Scoring in einem Quartal gut vorhersagt und im nächsten zufällige Ergebnisse liefert, fehlt prädiktive Validität.

Konkurrente Validität

Stimmen deine Messungen mit anderen, bereits bewährten Methoden überein? Wenn deine Kundenzufriedenheits-Umfrage deutlich von Reklamationsquoten, Net Promoter Scores und Wiederkaufsraten abweicht, ist entweder eine der Methoden nicht valide – oder du misst tatsächlich verschiedene Facetten desselben Konstrukts.

Kriteriumsvalidität ist für Churn-Prognosen und Lead-Modelle besonders wichtig: Das Modell muss zeigen, dass es das tut, was es behauptet zu tun – zukünftiges Verhalten korrekt einzuschätzen. Ohne diese Überprüfung an realen Daten bleibt jedes Modell Spekulation.

Typische Fehler bei der Validitätsprüfung

Die meisten Validitätsprobleme entstehen nicht bei der Auswertung, sondern lange davor. Die Analyse, wo in der Praxis Validität verloren geht, ergibt ein klares Muster:

Das Konstrukt bleibt undefiniert. Ich will Kundenzufriedenheit messen ist keine Forschungsfrage. Was genau ist Kundenzufriedenheit in diesem Kontext – zufrieden mit was, gemessen wann, aus wessen Perspektive? Ohne Definition können Fragen nicht valide sein, weil niemand prüfen kann, ob sie das Richtige erfassen.

Die Stichprobe passt nicht zur Fragestellung. Wenn du wissen willst, warum Neukunden nicht zum Zweitkauf kommen, und dafür Bestandskunden befragst, die seit Jahren kaufen, schließt du auf die falsche Gruppe. Die Antworten sind korrekt – aber sie beantworten eine andere Frage.

Korrelation wird als Kausalität interpretiert. Dass mehr E-Mail-Öffnungen mit mehr Käufen korrelieren, bedeutet nicht, dass Öffnungen Käufe verursachen. Beide könnten eine dritte Variable teilen – etwa ein grundlegendes Interesse am Produktbereich, das sowohl Öffnungsverhalten als auch Kaufbereitschaft antreibt. Ohne Kontrollgruppe lässt sich keine Kausalaussage treffen.

Der Test läuft zu kurz. Ein A/B-Test über drei Tage erfasst kein vollständiges Nutzerverhalten. Wochentags- und Wochenendmuster, Kaufzyklen, Saisoneffekte bleiben ausgeblendet. Ergebnisse aus einem zu kurzen Testzeitraum haben keine externe Validität und sind statistisch oft nicht stabil.

Validität wird mit Reliabilität verwechselt. Ein Instrument, das bei jeder Messung dasselbe Ergebnis liefert, wird als valide angesehen – weil die Konsistenz überzeugend wirkt. Es ist aber nur reliabel. Was es misst, könnte trotzdem das Falsche sein.

Zu viele Variablen gleichzeitig getestet. Wer in einem Test gleichzeitig Betreffzeile, Absenderadresse und Versandzeitpunkt ändert, kann keinen der drei Effekte sauber zuordnen. Interne Validität erfordert, dass du jeweils eine Variable isolierst.

Wann Validität allein nicht ausreicht

Validität ist eine notwendige, aber keine hinreichende Bedingung für Forschung, auf der du belastbare Entscheidungen basieren kannst. Es gibt Situationen, in denen ein valides Instrument trotzdem keine brauchbaren Ergebnisse liefert.

Das gilt, wenn der Kontext zwischen Erhebung und Anwendung zu verschieden ist. Eine Kundenbefragung, die valide in einem gesättigten Markt mit preissensiblen Kunden durchgeführt wurde, liefert Erkenntnisse für genau diesen Kontext. Wenn du dieselben Erkenntnisse auf ein Wachstumssegment überträgst, in dem Kunden noch kaum Vergleichsoptionen haben, verlieren die Daten ihren Wert – nicht weil das Instrument schlecht war, sondern weil der Transfer unzulässig ist.

Das gilt auch bei sozial erwünschten Antwortmustern. Menschen antworten in Befragungen oft so, wie sie glauben, dass es erwartet wird – oder so, wie sie sich selbst gerne sähen. Ein valides Instrument kann diesen Bias teilweise durch indirekte Fragen oder verhaltensbasierte Messungen reduzieren, aber nicht vollständig eliminieren. Wo es um sensible Themen geht – Ausgabebereitschaft, Abwanderungsneigung, Zufriedenheit mit persönlichem Service – sind verhaltensbasierte Daten aus ActiveCampaign oft verlässlicher als direkte Befragungsdaten.

Und es gilt, wenn das Forschungsziel sich zwischen Planung und Auswertung verschoben hat. Was valide für die ursprüngliche Frage erhoben wurde, ist nicht automatisch valide für eine neue Frage, die sich erst während der Analyse stellt. Nachträgliche Hypothesenformulierung – in der Forschung HARKing genannt, Hypothesizing After Results are Known – erzeugt Scheinvalidität: Die Ergebnisse passen zur Hypothese, weil die Hypothese an die Ergebnisse angepasst wurde.

Validität in der Praxis prüfen – so gehst du vor

Die folgende Vorgehensweise ist für Teams geeignet, die vor dem Start eines Forschungsprojekts eine strukturierte Validitätsprüfung durchführen wollen. Sie lässt sich auf Kundenbefragungen ebenso anwenden wie auf A/B-Tests oder Lead-Scoring-Modelle.

1. Forschungsziel als Frage formulieren: Schreibe das Ziel als vollständige Frage auf, die du nach der Erhebung beantworten können willst. Wenn die Frage mehr als einen Sachverhalt enthält, teile sie. Unklare Ziele erzeugen invalide Instrumente.
2. Konstrukte benennen und definieren: Welche nicht direkt beobachtbaren Konzepte willst du messen? Schreibe für jedes eine Arbeitsdefinition – maximal drei Sätze. Definiere auch, was das Konstrukt nicht ist, um Abgrenzungsprobleme schon im Entwurf aufzudecken.
3. Inhaltsvalidität prüfen: Erstelle eine Tabelle: Konstrukt links, Messfragen rechts. Jedes Konstrukt braucht mindestens zwei Fragen. Keine Frage darf zwei Konstrukte gleichzeitig ansprechen.
4. Stichprobenplan festlegen: Definiere, wen du befragst, nach welchen Kriterien und in welcher Menge. Halte schriftlich fest, warum diese Gruppe deine Zielpopulation repräsentiert – und für welche Gruppe die Ergebnisse ausdrücklich nicht gelten sollen.
5. Störvariablen identifizieren: Liste externe Faktoren auf, die das Ergebnis beeinflussen könnten – Saison, Wettbewerb, aktuelle Ereignisse, technische Variablen. Entscheide für jeden Faktor, ob du ihn kontrollieren, dokumentieren oder im Ergebnis als Einschränkung benennen wirst.
6. Stichprobengröße festlegen: Bestimme vor der Erhebung, wie groß die Stichprobe sein muss, um einen relevanten Effekt mit ausreichender Sicherheit zu erkennen. Für A/B-Tests gibt es dafür standardisierte Power-Kalkulatoren, die als freie Web-Tools verfügbar sind.
7. Ergebnisse gegen Außenkriterien validieren: Nach der Auswertung: Stimmen die Ergebnisse mit bekannten Mustern oder anderen Datenquellen überein? Wenn Befragungsdaten und Verhaltensdaten aus ActiveCampaign einander widersprechen, ist das ein Signal – nicht für einen Fehler, sondern für eine Folgefrage.

Häufige Fragen

Was ist der Unterschied zwischen Validität und Reliabilität in der Marktforschung?

Reliabilität beschreibt die Messgenauigkeit und Reproduzierbarkeit: Liefert ein Instrument bei gleichen Bedingungen gleiche Ergebnisse? Validität beschreibt, ob das Instrument das richtige Konzept misst. Ein reliables Instrument kann trotzdem invalide sein – es misst dann konsistent das Falsche. Für belastbare Entscheidungen braucht es beides, wobei Reliabilität die Vorbedingung für Validität ist.

Reicht Augenscheinvalidität aus, um einen Fragebogen einzusetzen?

Nein. Augenscheinvalidität ist ein subjektives Urteil darüber, ob ein Instrument plausibel wirkt – kein inhaltliches Prüfverfahren. Sie sichert weder vollständige Abdeckung der relevanten Dimensionen noch die korrekte Messung eines theoretischen Konstrukts. In der Praxis dient sie als Vorfilter für offensichtliche Fehler, ersetzt aber keine Inhalts- oder Konstruktvalidität.

Wie erkenne ich, ob mein A/B-Test interne Validität hat?

Interne Validität ist dann gefährdet, wenn Testgruppen sich systematisch unterscheiden, wenn externe Ereignisse in den Testzeitraum fallen oder wenn das Messinstrument sich während des Tests verändert. Du erkennst Probleme daran, dass Kontrollgruppen unerwartete Veränderungen zeigen oder dass Ergebnisse stark von Wochentag, Tageszeit oder Systemstatus abhängen. Dokumentiere alle externen Einflüsse während des Tests.

Kann ich interne und externe Validität gleichzeitig maximieren?

In der Praxis gibt es oft einen Zielkonflikt. Strenge Kontrolle über Störvariablen – Voraussetzung für hohe interne Validität – entfernt den Test von der Realität und reduziert externe Validität. Labortests haben hohe interne, aber niedrige externe Validität. Feldstudien sind umgekehrt positioniert. Das Ziel ist nicht die Maximierung beider, sondern das Wissen, welcher Typ für die konkrete Entscheidung wichtiger ist.

Was bedeutet Konstruktvalidität für Lead Scoring in ActiveCampaign?

Lead Scoring misst das Konstrukt Kaufbereitschaft. Konstruktvalidität prüft, ob die verwendeten Signale – E-Mail-Öffnungen, Klicks, Website-Besuche – tatsächlich Kaufbereitschaft widerspiegeln oder nur allgemeines Interesse. Ein Score-Modell ist konstruktvalide, wenn Kontakte mit hohem Score nachweislich häufiger kaufen als solche mit niedrigem – und das über verschiedene Segmente und Zeiträume hinweg stabil.

Wie gehe ich mit Validitätsproblemen um, die ich erst nach der Erhebung entdecke?

Nachträgliche Korrekturen sind begrenzt möglich. Fehlende Inhaltsvalidität lässt sich nicht reparieren – du kannst keine Dimensionen nachmessen, die nicht erhoben wurden. Bei statistischen Schlussvaliditätsproblemen hilft eine konservativere Auswertung. Am wichtigsten ist die transparente Dokumentation: Welche Einschränkungen hat die Studie, und welche Schlüsse sind trotzdem zulässig?

Wer Validitätskriterien konsequent vor der Erhebung prüft, trifft Entscheidungen auf einer Grundlage, die er benennen und verteidigen kann. Die grundlegenden Konzepte – Objektivität, Reliabilität, Validität – lassen sich auf jede Art von Marketing-Forschung anwenden: Kundenbefragungen, A/B-Tests, Website-Analysen oder Scoring-Modelle. Einblick in die Projekte, die wir bei Advertal begleiten, zeigt, dass Scheitern an Marktforschungsergebnissen fast immer dasselbe Muster hat: nicht die fehlenden Daten sind das Problem, sondern die ungeprüfte Annahme, dass die vorhandenen Daten das messen, was du eigentlich wissen willst.