A/B Test richtig machen: Hypothese, Stichprobengröße und Signifikanz verstehen
Wann ein Split-Test für Website oder Newsletter wirklich etwas aussagt, wie du die Signifikanz selbst prüfst und welches Tool zu deinem Traffic passt.
Anzeige · Diese Seite enthält Affiliate-Links. Kaufst du darüber ein, erhalten wir eine kleine Provision, ohne Mehrkosten für dich. Unsere Bewertungen bleiben davon unberührt. Wie wir testen →
Bei wenig Traffic oder kleinen Listen misst ein A/B Test meist Zufall, also erst die nötige Stichprobe prüfen und dann mit dem Split-Test deines Newsletter-Tools starten, bevor du Geld für eine Testing-Plattform ausgibst.
- Google Optimize ist seit 2023 eingestellt
- Öffnungsraten sind durch Apple Mail Privacy Protection verzerrt: Klicks messen
- Split-Test meist erst im Bezahltarif: Brevo Standard, MailerLite Comfort, CleverReach Pro
Kurz & knapp: Was du vor dem ersten Test wissen musst
Die meisten A/B Tests auf kleinen Websites und mit kleinen Newsletter-Listen erreichen nie statistische Signifikanz. Wer nach wenigen hundert Empfängern oder Besuchern einen Gewinner kürt, hat oft nur Zufall gemessen und ihn für eine Erkenntnis gehalten.
Die gute Nachricht: Für den Einstieg brauchst du kein teures Tool. Viele Newsletter-Programme bringen einen Split-Test schon mit, und Stichprobengröße sowie Signifikanz lässt du mit einer Formel oder einem kostenlosen Rechner prüfen. Eine dedizierte Plattform wie VWO lohnt sich erst, wenn deine Website genug Besucher hat.
Was ist ein A/B Test?
Ein A/B Test (auch Split-Test) vergleicht zwei Varianten einer Website, E-Mail, App oder Anzeige gleichzeitig. Variante A ist das Original, Variante B enthält genau eine gezielte Änderung, etwa eine andere Überschrift oder einen anderen Button-Text.
Entscheidend ist die zufällige Aufteilung: Beide Gruppen sind im Mittel gleich zusammengesetzt. Ein Unterschied im Ergebnis lässt sich deshalb auf die Änderung zurückführen und nicht auf Tageszeit, Zielgruppe oder Kanal.
Zielgruppe zufällig aufteilen
Besucher oder Empfänger landen per Zufall in Gruppe A oder B. Keine Auswahl nach Gefühl, kein Aufteilen nach Wochentagen.
Varianten gleichzeitig ausspielen
Gruppe A sieht das Original, Gruppe B die Änderung. Beide laufen parallel, damit äußere Einflüsse beide gleich treffen.
Eine Zielmetrik messen
Vorher festlegen, was zählt: Klicks, Anmeldungen, Käufe. Wer nachträglich die Metrik wechselt, findet immer irgendeinen Gewinner.
Entscheiden und dokumentieren
Nur ein statistisch belastbarer Sieger wird übernommen. Das Ergebnis samt Hypothese festhalten, auch wenn der Test keinen Unterschied zeigt.
Ändere pro Test nur eine Variable. Wer Betreff und Button gleichzeitig tauscht, weiß am Ende nicht, was gewirkt hat.
Hypothese, Stichprobengröße und Signifikanz: So hängen sie zusammen
Diese drei Begriffe bilden eine Kette. Die Hypothese legt fest, welchen Effekt du erwartest. Daraus ergibt sich, wie groß die Stichprobe sein muss. Und erst mit dieser Stichprobe kann ein Ergebnis signifikant werden.
Hypothese
Ein prüfbarer Satz mit Begründung: „Wenn wir den Nutzen statt des Produktnamens in die Überschrift schreiben, klicken mehr Besucher auf den Button, weil sie schneller verstehen, was sie bekommen.“ Ohne Hypothese testest du ins Blaue.
A/B Test Stichprobengröße
Hängt von vier Größen ab: deiner aktuellen Conversion-Rate, dem kleinsten Effekt, der für dich relevant ist, dem Signifikanzniveau und der Teststärke. Je kleiner der erwartete Unterschied, desto überproportional größer muss die Stichprobe sein.
Statistische Signifikanz
Sagt, wie unwahrscheinlich ein mindestens so großer Unterschied wäre, wenn beide Varianten in Wahrheit gleich gut sind. Das Niveau legst du vor dem Test fest, nicht danach.
Laufzeit
Ergibt sich aus Stichprobe geteilt durch Traffic. Auf Websites immer in vollen Wochen testen, weil sich Besucher an Werktagen und am Wochenende unterschiedlich verhalten.
Erst Stichprobe berechnen, dann testen. Zeigt der Rechner, dass du dafür Monate brauchst, ist der Test für deinen Traffic nicht sinnvoll.
A/B Test Signifikanz berechnen: der kostenlose Weg
Für die Auswertung brauchst du keine Software. Die Formeln für den Vergleich zweier Anteile (Zwei-Stichproben-Test) sind Standard-Statistik, und kostenlose Online-Rechner für Stichprobengröße und Signifikanz gibt es zahlreich.
Basisrate ermitteln
Schau in deine Statistik: Wie hoch ist die aktuelle Klick- oder Conversion-Rate der Seite oder Mail, die du testen willst?
Minimalen Effekt festlegen
Welche Verbesserung wäre dir den Aufwand wert? Dieser Wert bestimmt maßgeblich die nötige Stichprobe.
Stichprobe berechnen
Basisrate, Effekt, Signifikanzniveau und Teststärke in einen Stichproben-Rechner eintragen. Ergebnis: benötigte Besucher oder Empfänger pro Variante.
Nach Testende auswerten
Erst wenn die geplante Stichprobe erreicht ist, Besucher und Conversions beider Varianten in einen Signifikanz-Rechner eingeben.
Nicht zwischendurch auf das Ergebnis schauen und bei der ersten grünen Zahl stoppen. Dieses „Peeking“ erzeugt reihenweise Scheinsieger.
Wann ist ein A/B Test überhaupt aussagekräftig?
Ein Test ist nur so gut wie seine Planung. Diese typischen Fehler machen Ergebnisse wertlos, auch wenn das Tool einen Gewinner anzeigt.
Zu kleine Stichprobe
Wenige hundert Empfänger oder Besucher reichen fast nie, um realistische Unterschiede sicher zu erkennen. Das Ergebnis schwankt dann von Test zu Test.
Öffnungsrate als Metrik
Apple Mail Privacy Protection lädt Mails vor und meldet Öffnungen, die nie stattgefunden haben. Teste deshalb auf Klicks oder Conversions.
Zu viele Varianten
Jede zusätzliche Variante erhöht die Chance, dass eine rein zufällig vorne liegt. Außerdem teilt sie den ohnehin knappen Traffic weiter auf.
Vorzeitiger Abbruch
Wer den Test beendet, sobald eine Variante vorne liegt, hat keine Signifikanz gemessen, sondern einen Moment erwischt.
Kein Unterschied ist auch ein Ergebnis. Es heißt: Diese Änderung bewegt bei deinem Traffic nichts Messbares, und du kannst dich wichtigeren Hebeln widmen.
A/B Test im Newsletter: Der eingebaute Split-Test reicht meist
Die meisten Newsletter-Tools teilen einen Teil der Liste in Testgruppen, warten eine festgelegte Zeit und senden dem Rest automatisch die Siegervariante. Stell als Siegerkriterium Klicks statt Öffnungen ein. Bei kleinen Listen ist ein Test an die ganze Liste oft sinnvoller, um Erkenntnisse für künftige Mails zu sammeln.
Wichtig: A/B-Funktionen sind häufig erst in bezahlten Tarifen enthalten. Prüfe vor dem Abschluss auf der Preisseite des Anbieters, ob dein gewünschter Tarif den Split-Test umfasst.
Brevo
Günstiger Einstieg mit Free-Tarif und Starter ab 6,33 €/Monat. A/B-Tests gibt es erst ab Standard für 13,50 €/Monat. Gut für kleine Unternehmen, die Newsletter und Transaktionsmails in einem Tool wollen. Brevo im Test · Zu Brevo
MailerLite
Schlanke Oberfläche, Free-Tarif für 0 US$, A/B-Tests ab Comfort, ab 10,80 US$/Monat. Passend für Creator und Selbstständige, die einfache Betreff- und Inhaltstests fahren wollen. MailerLite im Test · Zu MailerLite
CleverReach
Anbieter aus Deutschland mit Lite-Tarif für 0 €, Basic 13,50 €/Monat und Pro 16,20 €/Monat. A/B-Tests sind erst im Pro-Tarif enthalten. Interessant für alle, denen ein deutscher Anbieter wichtig ist. CleverReach im Test · Zu CleverReach
Mailchimp
Großer Funktionsumfang, Free-Tarif, Essentials ab 11,75 €/Monat, Standard ab 18,07 €/Monat. Stark bei Auswertungen, bei wachsender Liste aber schnell teurer. Mailchimp im Test · Zu Mailchimp
Klaviyo
Auf Onlineshops zugeschnitten, mit Free-Tarif für 0 US$. Sinnvoll, wenn du nicht nur Klicks, sondern die Bestellrate als Testmetrik auswerten willst. Klaviyo im Test · Zu Klaviyo
Für den Newsletter-Test brauchst du kein Zusatz-Tool. Wechsle nur, wenn dein aktuelles Programm keinen Split-Test auf Klicks erlaubt.
A/B Testing Website: Wann sich eine Plattform lohnt
Google Optimize war lange der kostenlose Standard, ist aber seit 2023 eingestellt und taucht deshalb hier nicht als Empfehlung auf. Wer heute Websites testet, hat drei Wege.
Open Source als Gratis-Weg
Open-Source-Werkzeuge wie GrowthBook oder PostHog decken Experimente ab. Voraussetzung: Du oder dein Team könnt sie technisch einbinden.
Unbounce
Landingpage-Baukasten für einzelne Kampagnenseiten. Tarife von Starter 22 US$/Monat bis Optimize 187 US$/Monat, A/B-Tests gibt es erst ab Experiment für 112 US$/Monat. Unbounce im Test · Zu Unbounce
Landingi
Landingpage-Baukasten mit Testfunktionen, Build ab 24 €/Monat, Optimize 109 €/Monat, Scale ab 209 €/Monat. A/B-Tests gibt es erst ab Optimize. Gut für Teams, die Seiten ohne Entwickler bauen. Landingi im Test · Zu Landingi
VWO
Dedizierte Testing-Plattform für die gesamte Website, mit visuellem Editor und statistischer Auswertung. Preise richten sich nach Traffic und Umfang, daher auf der Anbieterseite prüfen. VWO im Test · Zu VWO
Eine Plattform wie VWO lohnt sich erst, wenn dein Traffic die berechnete Stichprobe in wenigen Wochen liefert. Vorher bezahlst du für Tests, die nichts entscheiden können.
Welches Tool für welchen Traffic?
Für kleine Listen und wenig Traffic am besten: kein neues Tool
Nutze den Split-Test deines Newsletter-Tools, teste große Unterschiede statt Details und sammle Erkenntnisse über mehrere Aussendungen.
Für Newsletter mit wachsender Liste am besten: Brevo oder MailerLite
Günstige Einstiegstarife, einfache Split-Tests. Tarif vor dem Kauf auf die A/B-Funktion prüfen.
Für Onlineshops am besten: Klaviyo
Tests lassen sich auf die Bestellrate statt nur auf Klicks bewerten, was für Shops die aussagekräftigere Metrik ist.
Für Kampagnen-Landingpages am besten: Unbounce oder Landingi
Seite bauen und testen in einem Werkzeug, ideal wenn bezahlter Traffic auf eine einzelne Seite läuft.
Für Websites mit viel Traffic am besten: VWO
Lohnt sich, wenn du regelmäßig mehrere Tests pro Quartal fährst und die Stichproben schnell zusammenkommen.
Nicht das Tool entscheidet über gute Tests, sondern die Stichprobe. Erst rechnen, dann kaufen.
Häufige Fragen zum A/B Testing
Was versteht man unter A/B-Testing?
A/B-Testing vergleicht zwei Varianten einer Seite, Mail oder Anzeige, die zufällig aufgeteilten Gruppen gleichzeitig gezeigt werden. Die Variante, die das vorher festgelegte Ziel statistisch belastbar besser erreicht, wird übernommen.
Welche Beispiele gibt es für A/B-Testing?
Typisch sind Betreffzeilen und Absendernamen im Newsletter, Überschriften und Button-Texte auf Landingpages, Formularlänge, Preisdarstellung oder das Hauptbild einer Produktseite.
Wie führt man einen A/B-Test durch?
Hypothese formulieren, eine Variable ändern, Zielmetrik festlegen, Stichprobe berechnen, Test bis zur geplanten Stichprobe laufen lassen, dann auswerten und dokumentieren.
Wie kann ich die Signifikanz eines A/B-Tests berechnen?
Mit einem kostenlosen Signifikanz-Rechner: Besucher und Conversions beider Varianten eintragen. Das geht aber erst nach Erreichen der vorher berechneten Stichprobe, sonst ist das Ergebnis nicht belastbar.
Warum ist die Öffnungsrate keine gute Testmetrik?
Apple Mail Privacy Protection lädt Mails automatisch vor und zählt dadurch Öffnungen, die nicht stattgefunden haben. Klicks und Conversions spiegeln das echte Verhalten besser.
Gibt es noch Google Optimize?
Nein, Google Optimize ist seit 2023 eingestellt. Kostenlose Alternativen sind Open-Source-Werkzeuge. Hast du ohnehin einen Bezahltarif eines Landingpage- oder Newsletter-Tools, nutzt du dessen eingebauten Split-Test.
🕒 Stand: September 2026. Quellen: Wikipedia (A/B-Test), HubSpot Blog (Stichprobengröße und Zeitrahmen für E-Mail-A/B-Tests), Mailjet Blog (A/B-Testing im E-Mail-Marketing), Lazi Akademie Wiki (A/B-Testing in E-Mails), Preisseiten der Anbieter. Transparenz: Links mit dem Hinweis „Zu …“ sind Affiliate-Links. Kaufst du darüber, erhalten wir eine Provision, für dich ändert sich der Preis nicht. Unsere Bewertung bleibt davon unabhängig.
