A/B-test analyseren: is je winnaar echt een winnaar?

A/B testen betekent twee versies van een pagina, advertentie of mail tegelijk laten draaien en meten welke beter werkt. Bij veel mkb-tests is het gemeten verschil kleiner dan wat toeval kan veroorzaken: te weinig bezoekers, te vroeg gestopt of achteraf een winnaar gezocht. Leg daarom vooraf vast wat je meet, hoeveel data je nodig hebt en wanneer je stopt. Daarna laat je ChatGPT of Claude de uitslag narekenen en uitleggen, maar de beslissing neem je zelf.

A/B testen: wat het is en waar het meestal misgaat

Bij een A/B-test laat je twee versies tegelijk draaien en meet je welke beter werkt. Versie A is wat je nu hebt, versie B heeft één verandering: een andere kop op je landingspagina, een andere openingszin in je advertentie, een andere onderwerpregel. Doordat beide versies in dezelfde periode lopen, tellen seizoen, weer en nieuws voor allebei mee.

Het idee is simpel. De analyse is waar het misgaat. Dit zijn de fouten die ik het vaakst zie:

• Te vroeg stoppen. Na drie dagen ligt B voor, dus B wint. In de eerste dagen schommelen de cijfers het sterkst. Wie elke dag kijkt en stopt zodra het mooi uitkomt, vindt vaak een winnaar die er niet is.
• Te weinig data. Tien aanvragen tegen veertien voelt als een duidelijk verschil, maar is meestal toeval.
• Achteraf een winnaar zoeken. Geen verschil in aanvragen, dan maar kijken naar klikken, of naar mobiel, of naar bezoekers uit Amsterdam. Wie lang genoeg zoekt, vindt altijd een groep waarin B wint.
• Te kleine veranderingen. Een andere kleur knop levert zelden een verschil op dat je met mkb-aantallen kunt meten.
• Geen volle weken. Een test van woensdag tot zondag mist de maandag, en juist dan doen veel zakelijke klanten hun aanvraag.
• Een scheve verdeling. Krijgt A 5.000 bezoekers en B 3.800 terwijl je half om half had ingesteld, dan zit er iets mis met de test zelf.

Hoeveel bezoekers heb je nodig voor een A/B-test?

Dat hangt af van twee dingen: hoe vaak je doel nu al gebeurt (je huidige conversiepercentage) en hoe groot het kleinste verschil is dat je wilt kunnen zien. Hoe kleiner het verschil, hoe meer bezoekers je nodig hebt. En dat loopt snel op.

De tabel hieronder geeft het aantal bezoekers of ontvangers per versie, bij de gangbare norm: 95% betrouwbaarheid en 80% kans om een echt verschil ook te vinden. De getallen zijn afgerond.

Lees het zo: heeft je landingspagina een conversie van 3% en wil je weten of een nieuwe kop er 3,6% van maakt (20% beter), dan heb je per versie zo'n 14.000 bezoekers nodig. Samen 28.000. Krijg je 2.000 bezoekers per maand, dan duurt die test ruim een jaar.

Wat betekent dat voor een mkb-bedrijf?

• Test grote veranderingen. Een andere aanpak van je pagina, een ander aanbod, een andere invalshoek in je advertentie. Die geven grotere verschillen, en daarvoor heb je minder bezoekers nodig.
• Meet een cijfer dat vaker voorkomt. Een klik op je offerteknop gebeurt vaker dan een verstuurde aanvraag. Het is minder waard als bewijs, maar je hebt sneller een uitslag.
• Test soms niet. Heb je te weinig verkeer, maak dan een beredeneerde keuze op basis van wat je weet over je klant, en kijk daarna of je resultaten verbeteren. Dat is eerlijker dan een test die niets kan bewijzen.

Voor e-mail geldt hetzelfde. Wanneer je lijst groot genoeg is voor een onderwerpregeltest, en hoe je dat in MailerLite instelt, staat in onderwerpregel nieuwsbrief.

Wanneer is een verschil toeval? Een rekenvoorbeeld

Een verzonnen voorbeeld, met ronde getallen. Je test twee versies van een landingspagina.

Versie B doet het 30% beter. Dat klinkt als een duidelijke winnaar. Toch is het verschil bij deze aantallen niet significant. Als A en B in werkelijkheid even goed zijn, zie je een verschil van deze omvang in ongeveer 12 van de 100 tests toch, puur door toeval. De norm is minder dan 5 van de 100.

Het betrouwbaarheidsinterval maakt het nog duidelijker. Dat geeft aan waar het echte verschil waarschijnlijk ligt. Hier loopt het van 0,2 procentpunt slechter tot 2,0 procentpunt beter. Versie B kan dus ook iets slechter zijn.

Hetzelfde resultaat met twee keer zoveel bezoekers, 4.000 per versie met 120 tegen 156 aanvragen, is wel significant: dan zie je zo'n verschil bij gelijke versies maar in ongeveer 3 van de 100 tests. Het interval loopt dan van 0,1 tot 1,7 procentpunt beter. B is waarschijnlijk beter, maar hoeveel precies is nog ruim.

De les: hetzelfde percentage zegt niets zonder de aantallen. Kijk daarom altijd naar drie dingen: het verschil, de betrouwbaarheid en het interval.

Leg vooraf vast: je testplan op vijf regels

De belangrijkste regel van A/B testen: alles wat je achteraf zou kunnen bijbuigen, leg je vooraf vast. Op papier, met een datum erbij. Dat is mensenwerk; daar hoort geen AI aan te zitten, behalve als rekenhulp bij regel 3.

1. Wat ik verander en waarom. "Versie B noemt de prijs boven de vouw, omdat klanten in gesprekken vaak eerst naar de prijs vragen."
2. Het ene cijfer dat beslist. Bijvoorbeeld: verstuurde offerteaanvragen per bezoeker. Niet klikken, niet tijd op de pagina, niet allebei.
3. Hoeveel data ik nodig heb. Het aantal bezoekers per versie uit de tabel hierboven of uit een calculator, omgerekend naar weken.
4. Wanneer ik stop. Na dat aantal bezoekers en minimaal twee volle weken, wat de cijfers onderweg ook zeggen.
5. Wat ik doe bij elke uitkomst. B wint: B wordt de standaard. Geen verschil: ik houd A, want dat is minder werk. A wint: ik noteer wat ik leerde.

Regel 1 is waar je ervaring het verschil maakt. Een test begint bij een idee over je klant, niet bij een tool. Wat bezoekers overtuigt en waar je dus het eerst zou testen, lees je in conversie verhogen.

Zo laat je ChatGPT of Claude je uitslag narekenen

AI is een goede rekenhulp voor A/B-tests, als je het laat rekenen met code in plaats van uit het hoofd. Dit zijn drie prompts voor drie momenten.

Voor de test: hoeveel data heb je nodig?

Ik wil een A/B-test doen op [pagina, advertentie of mail]. Het huidige conversiepercentage is [x%] en ik krijg ongeveer [aantal] bezoekers per week. Ik wil een verbetering van [y%] kunnen zien, met 95% betrouwbaarheid en 80% power. Bereken met code hoeveel bezoekers ik per versie nodig heb en hoeveel weken de test dan duurt. Leg in gewone taal uit wat er gebeurt als ik eerder stop.

Na de test: is het verschil echt?

Hier is de uitslag van mijn A/B-test. Versie A: [bezoekers] bezoekers, [conversies] conversies. Versie B: [bezoekers] bezoekers, [conversies] conversies. De verdeling was ingesteld op 50/50. Reken met code: het verschil in procentpunten en in procenten, de p-waarde met een toets voor twee proporties, en het 95%-betrouwbaarheidsinterval van het verschil. Controleer ook of de verdeling van bezoekers past bij 50/50. Laat de code zien.

Daarna: tegenspraak vragen.

Geef drie redenen waarom deze uitslag misleidend zou kunnen zijn, en wat ik zou moeten controleren voordat ik versie B de standaard maak.

Die laatste prompt is nodig, omdat taalmodellen geneigd zijn mee te gaan met wat jij graag wilt horen. Vraag je "is B de winnaar?", dan krijg je vaak ja.

Controleer bij elke AI-berekening of de getallen die het model gebruikt dezelfde zijn als die jij gaf, en reken het één keer na met een gewone A/B-testcalculator. Komen beide uit op hetzelfde, dan klopt het. En vraag jezelf af wat de AI niet kan weten: lag de site een dag plat, liep er tegelijk een actie, kwam een grote mailing alleen bij versie B terecht?

A/B testen per kanaal: website, Google Ads, Meta en e-mail

Website. Google Optimize bestaat sinds september 2023 niet meer. Je test nu met een aparte testtool of met een functie in je website of paginabouwer. Meet de uitkomst als belangrijke gebeurtenis in GA4, zodat je per versie dezelfde definitie gebruikt; hoe je die rapporten leest, staat in de Google Analytics uitleg. Test bij voorkeur op pagina's met veel bezoek, zoals je landingspagina voor Google Ads.

Google Ads en Meta. Beide platformen hebben eigen testfuncties: Experimenten in Google Ads en de A/B-test in Advertentiebeheer van Meta. Die verdelen het verkeer zelf eerlijk en laten zien hoe zeker de uitslag is. Gebruik die liever dan twee advertenties naast elkaar zetten, want dan bepaalt het algoritme wie welke versie ziet. Bij Yamaha testte ik advertenties op boodschap, beeld en call-to-action en liet ik alleen de versies draaien die aansloegen. Bij Meta werkt het testen van echt verschillende concepten beter dan van kleine varianten; waarom, lees je in Meta Andromeda.

E-mail. Mailtools als MailerLite hebben een A/B-test op onderwerpregel, afzender of inhoud ingebouwd. Laat de klik beslissen, niet de open, en houd bij kleine lijsten een logboek bij, zodat je over meerdere tests patronen ziet.

Conclusie: AI rekent, jij beslist wat je test

Een A/B-test bewijst alleen iets als je genoeg data hebt en vooraf hebt vastgelegd wat je meet en wanneer je stopt. Kijk bij elke uitslag naar het verschil, de betrouwbaarheid en het interval, niet alleen naar het percentage. Laat ChatGPT of Claude het rekenwerk doen met code, vraag om tegenargumenten en reken één keer na. Wat je test, welk cijfer telt en wat je met de uitslag doet, blijft jouw keuze.

Weet je nog niet welk cijfer bij jou beslist, begin dan bij marketing KPI's. Wil je cijfers uit meerdere platformen met AI analyseren, lees dan data analyseren met AI. Benieuwd wat het kost als ik je campagnes opzet en test? Download de prijslijst.