A/B-Tests

Datenwissenschaft verstehen

Lis Sulmont

Curriculum Manager, DataCamp

Data Science Workflow

Data Science-Workflow

Datenwissenschaft verstehen

Was sind Experimente in der Datenwissenschaft?

Experimente helfen dabei, Entscheidungen zu treffen und Schlussfolgerungen zu ziehen

  1. Eine Frage formulieren
  2. Eine Hypothese aufstellen
  3. Daten sammeln
  4. Die Hypothese mit einem statistischen Test überprüfen
  5. Ergebnisse interpretieren
Datenwissenschaft verstehen

Fallstudie: Welcher Titel passt besser zu einem Blogbeitrag?

Fragestellung: Erzielt Blog-Titel A oder Blog-Titel B mehr Klicks?

Hypothese: Beide Blog-Titel bringen gleiche viele Klicks.

Daten sammeln:

  • 50 % der Nutzer sehen den Blog-Titel A.
  • 50 % der Nutzer sehen den Blog-Titel B.
  • Klickrate messen, bis die Stichprobengröße erreicht ist

a-b-test-headlines.jpg

Datenwissenschaft verstehen

Fallstudie: Welcher Titel passt besser zu einem Blogbeitrag?

Überprüfen der Hypothese mit einem statistischen Test: Ist der Unterschied in den Klickraten der Titel signifikant?

Ergebnisse interpretieren:

  • Titel auswählen
  • Oder weitere Fragen stellen und ein neues Experiment ausdenken!

a-b-test-headlines.jpg

Datenwissenschaft verstehen

Was ist A/B-Testing?

Auch bekannt als: Champion-/Herausforderer-Test

a-b-test.png

Datenwissenschaft verstehen

Begriffserklärung

  • Stichprobengröße: Anzahl der verwendeten Datenpunkte
  • Statistische Signifikanz: Das Ergebnis ist wahrscheinlich nicht nur zufällig entstanden
    • Gegebene Annahmen des statistischen Modells
    • Folgende nutzen statistischen Tests, um sie zu berechnen:
      • z. B.: t-Test, Z-Test, ANOVA, Chi-Quadrat-Test
Datenwissenschaft verstehen

Schritte beim A/B-Testing

  • Auswählen einer zu messenden Kennzahl
  • Berechnung der Stichprobengröße
  • Durchführung des Experiments
  • Prüfung auf Signifikanz
Datenwissenschaft verstehen

Wähle eine zu messende Metrik aus: Klickrate

klicken-auf-link.jpg

Datenwissenschaft verstehen

sample-size-percent.jpg

  • Basiswert zur Messung von Veränderungen
    • Wie oft klicken Leute normalerweise auf einen Link zu unseren Blogs?
  • Wenn der Anteil viel größer oder kleiner als 50 % ist, brauchen wir eine große Stichprobe
    • Die Klickrate ist normalerweise niedrig (< 3 %)
Datenwissenschaft verstehen

sample-size-sensitivity.jpg

Je größer die Stichprobe, desto kleinere Veränderungen können wir erkennen

Datenwissenschaft verstehen

Führe dein Experiment durch

run-experiment.jpg

Datenwissenschaft verstehen

Auf Signifikanz prüfen

significance.jpg

Datenwissenschaft verstehen

Was ist, wenn die Ergebnisse nicht signifikant sind?

  • Der Unterschied ist kleiner als der von uns gewählte Schwellenwert
  • Den Test länger laufen zu lassen, wird nichts bringen
  • Es mag nichtsdestotrotz einen Unterschied geben; er ist jedoch klein und für uns nicht so wichtig
Datenwissenschaft verstehen

Lass uns üben!

Datenwissenschaft verstehen

Preparing Video For Download...