Multivariates Testen (MVT) ist eine erweiterte Form des Conversion-Rate-Testings, bei der mehrere Varianten verschiedener Elemente gleichzeitig auf einer Seite getestet werden. Im Gegensatz zum A/B-Testing, das zwei vollständige Seitenversionen vergleicht, analysiert MVT, welche Kombination einzelner Element-Varianten die beste Performance erzielt.
MVT beantwortet nicht nur „Was ist besser – A oder B?", sondern „Welche Kombination aus Headline-Version 2, CTA-Text-Version 1 und Hero-Bild-Version 3 erzielt die höchste Conversion Rate?"
MVT vs. A/B-Testing: Der entscheidende Unterschied
A/B-Test: Vollständige Versionen
Version A: Headline A + CTA A + Bild A (Kontrollseite)
Version B: Headline B + CTA B + Bild B (Variante)
A/B-Tests zeigen, welche Gesamtversion besser ist – aber nicht, welches Element den Unterschied macht. War es die neue Headline? Der andere CTA? Das Bild?
MVT: Element-Kombinationen
Element 1: Headline (2 Varianten: H1, H2)
Element 2: CTA-Text (2 Varianten: C1, C2)
Element 3: Hero-Bild (2 Varianten: B1, B2)
Kombinationen: 2 × 2 × 2 = 8
MVT testet alle 8 Kombinationen gleichzeitig und zeigt:
- Welche Kombination am besten performt
- Welchen individuellen Beitrag jedes Element leistet
- Ob Elemente miteinander interagieren (Interaktionseffekte)
Full-Factorial vs. Fractional-Factorial MVT
Full-Factorial MVT
Full-Factorial testet alle möglichen Kombinationen aller Varianten. Das ist die präziseste Methode.
Kombinationsformel:
Anzahl Kombinationen = Variante1 × Variante2 × Variante3 × ...
Beispiel: 3 Elemente mit je 2 Varianten = 2³ = 8 Kombinationen Beispiel: 3 Elemente mit je 3 Varianten = 3³ = 27 Kombinationen
Problem: Die Anzahl der Kombinationen und damit der Traffic-Bedarf wächst exponentiell.
| Elemente | Varianten pro Element | Kombinationen |
|---|---|---|
| 2 | 2 | 4 |
| 3 | 2 | 8 |
| 4 | 2 | 16 |
| 3 | 3 | 27 |
| 4 | 3 | 81 |
| 5 | 2 | 32 |
Fractional-Factorial MVT
Fractional-Factorial testet nur eine repräsentative Teilmenge aller Kombinationen. Dieser Ansatz wurde aus der statistischen Versuchsplanung (Design of Experiments, DoE) übernommen.
Vorteil: Deutlich weniger Traffic benötigt Nachteil: Interaktionseffekte zwischen Elementen können nicht vollständig erkannt werden
Wann geeignet: Wenn Traffic begrenzt ist, aber trotzdem Einblicke in mehrere Elemente gewünscht werden.
Googleoptimierte Tools wie früher Google Optimize (inzwischen eingestellt) und VWO bieten Fractional-Factorial als automatische Option an.
Traffic-Anforderungen berechnen
Der Traffic-Bedarf ist der häufigste Grund, warum MVT scheitert oder keine signifikanten Ergebnisse liefert.
Faustformel für MVT-Traffic
Benötigter Traffic = (Kombinationen × Besucher pro Variante)
Bei einer aktuellen Conversion Rate von 3 % und einem erwarteten Lift von 15 %:
- Benötigte Besucher pro Variante: ~10.000 (gemäß Sample-Size-Rechner)
- 8 Kombinationen × 10.000 = 80.000 Gesamtbesucher
- Bei 2.000 Besuchern/Tag: Testdauer ~40 Tage
Mindest-Traffic-Empfehlungen
| Testtyp | Kombinationen | Mindest-Tagesbesucher |
|---|---|---|
| Einfaches MVT (2×2) | 4 | 500+ |
| Standard-MVT (2×2×2) | 8 | 1.000+ |
| Mittleres MVT (3×3) | 9 | 1.500+ |
| Großes MVT (3×3×3) | 27 | 5.000+ |
Faustregel: Wenn Sie weniger als 500 Besucher pro Tag haben, nutzen Sie A/B-Testing statt MVT.
Geeignete Elemente für MVT
Nicht alle Elemente eignen sich gleichermaßen für multivariates Testen.
Gut geeignet (gegenseitige Beeinflussung möglich)
- Hero-Sektion: Headline + Subheadline + CTA-Button
- Produktseite: Titel + Beschreibung + Produktbild + Preis-Darstellung
- Checkout: Vertrauenssignale + Formular-Layout + CTA
- E-Mail: Betreffzeile + Preview-Text + Haupt-CTA
Weniger geeignet (separat testen)
- Elemente auf verschiedenen Seiten (separaten A/B-Test pro Seite)
- Navigation (zu wenige Klicks pro Element für Signifikanz)
- Footer-Elemente (rarely seen, rarely clicked)
- Technische Elemente ohne direkten Conversion-Bezug
Interaktionseffekte verstehen
Der wichtigste Vorteil von MVT gegenüber aufeinanderfolgenden A/B-Tests: das Erkennen von Interaktionseffekten.
Was sind Interaktionseffekte?
Ein Interaktionseffekt tritt auf, wenn die Kombination zweier Elemente anders wirkt als die Summe ihrer Einzelwirkungen.
Beispiel:
- Headline A allein: +10 % Conversion
- CTA-Text A allein: +8 % Conversion
- Headline A + CTA-Text A kombiniert: nur +5 % (statt erwarteter +18 %)
Das kann passieren, wenn die neue Headline bereits so überzeugend ist, dass der CTA-Text eine geringere Rolle spielt – oder wenn sich die Botschaften der beiden Elemente überschneiden.
Oder positiv:
- Headline A allein: +5 %
- Bild A allein: +3 %
- Headline A + Bild A kombiniert: +18 % (Synergieeffekt)
Interaktionseffekte sind nur durch MVT erkennbar – nicht durch sequenzielle A/B-Tests.
MVT-Tools im Überblick
| Tool | Typ | Preisbereich | MVT-Fähigkeiten |
|---|---|---|---|
| VWO (Visual Website Optimizer) | Vollplattform | Ab ~300 €/Mo | Full-Factorial und Fractional |
| Optimizely | Enterprise | Ab ~1.000 €/Mo | Vollständig, inkl. Stats-Engine |
| AB Tasty | Mid-Market | Ab ~200 €/Mo | Full und Fractional MVT |
| Convert.com | Mid-Market | Ab ~200 €/Mo | MVT mit statistischer Signifikanz |
| Kameleoon | Enterprise | Angebot | KI-gestütztes MVT |
Hinweis: Google Optimize wurde im September 2023 eingestellt. Nachfolger-Tools sind die oben genannten oder die native Integration in GA4 über Experimente.
Statistische Signifikanz bei MVT
Die statistische Auswertung von MVT ist komplexer als bei A/B-Tests, da mehrere Kombinationen gleichzeitig verglichen werden.
Multiple-Comparisons-Problem
Bei 8 Kombinationen werden gleichzeitig 7 Paarvergleiche (jede Kombination gegen die Kontrolle) durchgeführt. Das erhöht die Wahrscheinlichkeit eines Typ-1-Fehlers (False Positive).
Bonferroni-Korrektur: Das Signifikanzniveau wird durch die Anzahl der Vergleiche geteilt.
- Standard: α = 0,05
- Mit Bonferroni-Korrektur (8 Kombinationen): α = 0,05 / 8 = 0,00625
Das bedeutet: Der p-Wert muss kleiner als 0,00625 sein, um Signifikanz zu erreichen. Dies erfordert deutlich mehr Traffic und eine längere Testdauer.
Mehr zur statistischen Grundlage: Statistische Signifikanz
Wann MVT sinnvoll ist – und wann nicht
MVT ist sinnvoll wenn
- Ausreichend Traffic vorhanden ist (500+ Tagesbesucher mindestens)
- Sie verstehen wollen, welche Elemente miteinander interagieren
- Sie mehrere Hypothesen gleichzeitig testen wollen, die dieselbe Seite betreffen
- Sie bereits durch A/B-Tests wissen, welche Bereiche optimierungswürdig sind
- Die Seite mehrere wichtige Conversion-Elemente auf engem Raum enthält
MVT ist nicht sinnvoll wenn
- Traffic unter 500 Tagesbesucher liegt
- Sie erstmalig mit Testing beginnen (erst A/B-Tests sammeln)
- Die Elemente komplett unabhängig voneinander sind
- Schnelle Ergebnisse benötigt werden
- Das Team wenig Erfahrung mit statistischer Auswertung hat
Von MVT-Ergebnissen zu Entscheidungen
Nach einem MVT-Durchlauf haben Sie typischerweise folgende Informationen:
- Gewinner-Kombination: Welche Element-Kombination am besten performt
- Element-Haupteffekte: Welchen unabhängigen Beitrag jedes Element leistet
- Interaktionseffekte: Welche Kombinationen synergistisch oder antagonistisch wirken
Nächste Schritte:
- Gewinner-Kombination als neue Kontrollversion implementieren
- Erkenntnisse über Interaktionseffekte für künftige Tests nutzen
- Weitere Hypothesen aus den Ergebnissen ableiten (z. B. tiefere Optimierung der besten Elemente)