Ein Conversion-Anstieg nach dem neuen Text beweist nicht, dass genau der Text gewirkt hat. Gleichzeitig können sich Preis, Wochentage und Zusammensetzung der Zielgruppe geändert haben. Bevor Sie über eine Skalierung entscheiden, erstellen Sie eine Liste solcher Änderungen und trennen Sie die Beobachtung von der kausalen Schlussfolgerung.
Ein einfaches Beispiel für die Vermischung von Faktoren
In der angenommenen ersten Woche erhielt die Website 100 Besuche und zwei Zielbesuche; in der zweiten — 100 und vier. Die Conversion stieg von 2% auf 4%. Doch in der zweiten Woche begann außerdem eine Aktion, und es ging ein Newsletter an Stammkunden heraus.
Korrekte Formulierung: „In der zweiten Woche wurde eine Conversion von 4% beobachtet; gleichzeitig änderten sich Text, Angebot und Quelle.“ Die Aussage „Die neue Überschrift hat den Umsatz verdoppelt“ folgt nicht aus diesen Daten. Außerdem bedeutet ein Zielbesuch im Beispiel nicht zwangsläufig eine bestätigte Zahlung.
Machen Sie den Vergleich tauglich
Wählen Sie dasselbe Ziel, dieselbe Zeitzone, dieselbe Dauer und dieselbe Zusammensetzung der Wochentage. Prüfen Sie Änderungen in der Erfassung: Ein neues Einwilligungsbanner oder ein Zählerfehler können die beobachtete Stichprobe verändern. Vergleichen Sie zusätzlich Quellen und Geräte, ohne die kleine Zahl der Beobachtungen zu verschweigen.
Führen Sie ein Protokoll: was geändert wurde, wann und aus welchem Grund. Wenn sich eine Aktion nicht von der redaktionellen Bearbeitung trennen lässt, benennen Sie den gesamten Satz der Änderungen als Beobachtungsobjekt. Wählen Sie nicht im Nachhinein nur die erfolgreichen Tage aus und schließen Sie die übrigen ohne vorab nachvollziehbaren Grund aus.
Der nächste überprüfbare Schritt
Legen Sie für einen künftigen Vergleich vorab die Hauptänderung und die Methode zur Kontrolle der übrigen Faktoren fest. Die Methodik der Versuchsplanung hängt von der Aufgabe und der Anzahl der Faktoren ab; dies ist ein im NIST-Leitfaden beschriebenes Prinzip. Bei geringem Traffic versprechen Sie kein schnelles statistisch belastbares A/B-Ergebnis.
Manchmal ist ein verständlicher Text hinsichtlich der Qualität der Erklärung ein vernünftiges Ergebnis, und die Beobachtung sollte fortgesetzt werden, ohne ihm den gemessenen Geldzuwachs zuzuschreiben. Wenn Sie weiter testen, notieren Sie die Abbruchregel und die erforderlichen Daten, bevor Sie das Ergebnis ansehen. Diese Reihenfolge hilft, Entscheidungen ohne erfundene Genauigkeit zu treffen, und garantiert nicht die kommerzielle Wirkung jeder Änderung.
Schema: 1 — den Ausgangszeitraum festhalten; 2 — die gleichzeitig geänderten Bedingungen auflisten; 3 — einen vergleichbaren nächsten Test wählen.
Verwandte Aufgabe: Null Bestellungen nach zwanzig Übergängen: Was sich aus einem kleinen Test schließen lässt.
Quellen
NIST: Wahl des Versuchsplans · Metrik: Begriffe und Definitionen. Geprüft am 22 September 2026. Praktische Szenarien und Schemata — redaktionelle Methodik; die angenommenen Zahlen sind keine Kundendaten.
Nach der Vorbereitung eines separaten öffentlichen Beitrags können Sie die Bedingungen der Leistung für Aufrufe abgleichen. Die Leistung erledigt nicht die beschriebene redaktionelle oder organisatorische Arbeit und garantiert kein organisches Interesse, keine Anfragen und keine Verkäufe. Die Methode zur Erzielung von Aktivität und die Beschränkungen der Plattform werden separat geprüft.