Een stijging van de conversie na een nieuwe tekst bewijst niet dat juist de tekst het effect had. Tegelijk kunnen de prijs, de dagen van de week en de samenstelling van het publiek zijn veranderd. Maak voordat je besluit op te schalen een lijst van zulke veranderingen en scheid de waarneming van de causale conclusie.
Een eenvoudig voorbeeld van vermenging van factoren
In de veronderstelde eerste week kreeg de site 100 bezoeken en twee doelgerichte bezoeken; in de tweede week 100 en vier. De conversie steeg van 2% naar 4%. Maar in de tweede week begon ook een actie en werd een nieuwsbrief naar vaste klanten verstuurd.
Een correcte formulering: ‘In de tweede week werd een conversie van 4% waargenomen; tegelijk veranderden de tekst, het aanbod en de bron.’ De formulering ‘De nieuwe kop verdubbelde de verkopen’ volgt niet uit deze gegevens. Bovendien betekent een doelgericht bezoek in het voorbeeld niet noodzakelijk een bevestigde betaling.
Maak de vergelijking geschikt
Kies hetzelfde doel, dezelfde tijdzone, dezelfde duur en dezelfde samenstelling van dagen van de week. Controleer veranderingen in de registratie: een nieuwe toestemmingsbanner of een fout in de teller kan de waargenomen steekproef veranderen. Vergelijk daarnaast bronnen en apparaten afzonderlijk, zonder een klein aantal waarnemingen te verbergen.
Houd een logboek bij: wat je hebt gewijzigd, wanneer en om welke reden. Als een actie niet van de redactie kan worden gescheiden, benoem dan het hele pakket aan veranderingen als object van waarneming. Kies niet achteraf alleen de gunstige dagen en sluit de overige uit zonder een vooraf duidelijk criterium.
De volgende toetsbare stap
Bepaal voor een toekomstige vergelijking vooraf de belangrijkste verandering en de manier waarop je de overige factoren controleert. De methode voor het plannen van een experiment hangt af van de taak en het aantal factoren; dit is een principe dat in de NIST-handleiding wordt beschreven. Beloof bij een kleine stroom geen snel statistisch betrouwbaar A/B-resultaat.
Soms is een verstandige uitkomst om een begrijpelijke tekst te behouden vanwege de kwaliteit van de uitleg en het observeren voort te zetten, zonder daaraan de gemeten geldgroei toe te schrijven. Als je verder test, leg dan de stopregel en de vereiste gegevens vast voordat je het resultaat bekijkt. Deze volgorde helpt beslissingen te nemen zonder verzonnen precisie, maar garandeert geen commercieel effect van elke verandering.
Schema: 1 — de beginperiode vastleggen; 2 — de gelijktijdig veranderde omstandigheden opsommen; 3 — een vergelijkbare volgende test kiezen.
Aanverwante taak: Nul bestellingen na twintig klikken: wat je uit een kleine test kunt concluderen.
Bronnen
NIST: keuze van het experimentplan · Metrica: termen en definities. Gecontroleerd in 22 september 2026. Praktische scenario's en schema's — redactionele methode; de voorbeeldgetallen zijn geen klantgegevens.
Na het opstellen van een afzonderlijk openbaar bericht kun je de voorwaarden van de dienst voor weergaven raadplegen. De dienst voert het beschreven redactionele of organisatorische werk niet uit en garandeert geen organische interesse, aanvragen of verkopen. De manier waarop activiteit wordt verkregen en de beperkingen van het platform worden afzonderlijk gecontroleerd.