A/B-Tests

Datenwissenschaft verstehen

Lis Sulmont

Curriculum Manager, DataCamp

Data Science Workflow

Data science workflow

Datenwissenschaft verstehen

Was sind Experimente in der Datenwissenschaft?

Experimente helfen dabei, Entscheidungen zu treffen und Schlussfolgerungen zu ziehen

  1. Eine Frage formulieren
  2. Eine Hypothese aufstellen
  3. Daten sammeln
  4. Teste die Hypothese mit einem statistischen Test
  5. Interpretiere Ergebnisse
Datenwissenschaft verstehen

Fallstudie: Welcher Titel passt besser zu einem Blogbeitrag?

Eine Frage formulieren: Bringt Blog-Titel A oder Blog-Titel B mehr Klicks?

Eine Hypothese aufstellen: Beide Blog bringen gleiche viele Klicks.

Daten sammeln:

  • 50 % der Nutzer sehen den Blog-Titel A.
  • 50 % der Nutzer sehen den Blog-Titel B.
  • Klickrate messen, bis die Stichprobengröße erreicht ist

a-b-test-headlines.jpg

Datenwissenschaft verstehen

Fallstudie: Welcher Titel passt besser zu einem Blogbeitrag?

Teste die Hypothese mit einem statistischen Test: Ist der Unterschied in den Klickraten der Titel wirklich signifikant?

Interpretiere Ergebnisse:

  • Wähle einen Titel
  • Oder stelle noch mehr Fragen und denke dir ein neues Experiment aus!

a-b-test-headlines.jpg

Datenwissenschaft verstehen

Was ist A/B-Testing?

Auch bekannt als: Champion-/Herausforderer-Test

a-b-test.png

Datenwissenschaft verstehen

Begriffserklärung

  • Stichprobengröße: Anzahl der verwendeten Datenpunkte
  • Statistische Signifikanz: Das Ergebnis ist wahrscheinlich nicht nur zufällig entstanden
    • Gegebene Annahmen des statistischen Modells
    • Folgende nutzen statistischen Tests, um sie zu berechnen:
      • z. B.: t-Test, Z-Test, ANOVA, Chi-Quadrat-Test
Datenwissenschaft verstehen

Schritte beim A/B-Testing

  • Auswählen einer zu messenden Kennzahl
  • Berechnung der Stichprobengröße
  • Durchführung des Experiments
  • Prüfung auf Signifikanz
Datenwissenschaft verstehen

Wähle eine zu messende Metrik aus: Klickrate

click-on-link.jpg

Datenwissenschaft verstehen

sample-size-percent.jpg

  • Basiswert zur Messung von Veränderungen
    • Wie oft klicken Leute normalerweise auf einen Link zu unseren Blogs?
  • Wenn der Anteil viel größer oder kleiner als 50 % ist, brauchen wir eine große Stichprobe
    • Die Klickrate ist normalerweise niedrig (< 3 %)
Datenwissenschaft verstehen

sample-size-sensitivity.jpg

Je größer die Stichprobe, desto kleinere Veränderungen können wir erkennen

Datenwissenschaft verstehen

Führe dein Experiment durch

run-experiment.jpg

Datenwissenschaft verstehen

Auf Signifikanz prüfen

significance.jpg

Datenwissenschaft verstehen

Was ist, wenn die Ergebnisse nicht signifikant sind?

  • Der Unterschied ist kleiner als der von uns gewählte Schwellenwert
  • Den Test länger laufen zu lassen, wird nichts bringen
  • Es mag nichtsdestotrotz einen Unterschied geben; er ist jedoch klein und für uns nicht so wichtig
Datenwissenschaft verstehen

Lass uns üben!

Datenwissenschaft verstehen

Preparing Video For Download...