A/B-testen

Data Science begrijpen

Lis Sulmont

Curriculum Manager, DataCamp

Datawetenschapsworkflow

Data science workflow

Data Science begrijpen

Wat zijn experimenten in datawetenschap?

Experimenten helpen je om beslissingen te nemen en conclusies te trekken

  1. Formuleer een vraag
  2. Formuleer een hypothese
  3. Verzamel gegevens
  4. Test de hypothese met een statistische test
  5. Interpreteer de resultaten
Data Science begrijpen

Casestudy: welke blogtitel is beter?

Formuleer een vraag: levert blogtitel A of blogtitel B meer klikken op?

Formuleer een hypothese: blogtitel A en blogtitel B leiden tot hetzelfde aantal klikken.

Verzamel gegevens:

  • 50% van de gebruikers ziet blogtitel A
  • 50% van de gebruikers ziet blogtitel B
  • Volg de klikfrequentie totdat de steekproefgrootte is bereikt

a-b-test-headlines.jpg

Data Science begrijpen

Casestudy: welke blogtitel is beter?

Test de hypothese met een statistische test: is het verschil in het doorklikpercentages van de titels significant?

Interpreteer de resultaten:

  • Kies een titel
  • Of stel meer vragen en ontwerp nog een experiment!

a-b-test-headlines.jpg

Data Science begrijpen

Wat is A/B-testen?

AKA Champion/Challenger-testen

a-b-test.png

Data Science begrijpen

Terminologiebeoordeling

  • Steekproefgrootte: het aantal gebruikte datapunten
  • Statistische significantie: het resultaat is waarschijnlijk niet toevallig
    • Gegeven aannames van het statistische model
    • Gebruik statistische testen om dit te berekenen:
      • bijvoorbeeld t-test, Z-test, ANOVA, chi-kwadraattest
Data Science begrijpen

A/B-teststappen

  • Een meetwaarde kiezen om te volgen
  • De steekproefgrootte berekenen
  • Het experiment uitvoeren
  • Controleren op significantie
Data Science begrijpen

Kies een meetwaarde om te volgen: doorklikratio

click-on-link.jpg

Data Science begrijpen

sample-size-percent.jpg

  • Basismeetwaarde om eventuele veranderingen te beoordelen
    • Hoe vaak mensen over het algemeen op een link naar onze blogs klikken
  • Als het percentage veel groter of kleiner is dan 50%, dan hebben we een grotere steekproef nodig
    • Klikfrequentie is doorgaans klein (<3%)
Data Science begrijpen

sample-size-sensitivity.jpg

Met grotere steekproeven kunnen we kleinere veranderingen zien

Data Science begrijpen

Voer je experiment uit

run-experiment.jpg

Data Science begrijpen

Controleer op significantie

significance.jpg

Data Science begrijpen

Wat als de resultaten niet significant zijn?

  • Het verschil is kleiner dan de gekozen drempel
  • Onze test langer laten lopen helpt niet
  • Er kan nog steeds een verschil zijn; voor ons is het gewoon klein en onbeduidend
Data Science begrijpen

Laten we oefenen!

Data Science begrijpen

Preparing Video For Download...