A/B-Tests

Datenwissenschaft verstehen

Lis Sulmont

Curriculum Manager, DataCamp

Data Science Workflow

Data science workflow

Datenwissenschaft verstehen

Was sind Experimente in der Datenwissenschaft?

Experimente helfen dabei, Entscheidungen zu treffen und Schlussfolgerungen zu ziehen

  1. Eine Frage formulieren
  2. Eine Hypothese aufstellen
  3. Daten sammeln
  4. Testen die Hypothese mit einem statistischen Test
  5. Interpretation der Ergebnisse
Datenwissenschaft verstehen

Fallstudie: Welcher Titel passt besser zu einem Blogbeitrag?

Frage formulieren: Erzielt Blog-Titel A oder Blog-Titel B mehr Klicks?

Hypothese aufstellen: Beide Blogtitel bringen gleiche viele Klicks.

Daten sammeln:

  • 50 % der Nutzer sehen den Blog-Titel A.
  • 50 % der Nutzer sehen den Blog-Titel B.
  • Klickrate messen, bis die Stichprobengröße erreicht ist

a-b-test-headlines.jpg

Datenwissenschaft verstehen

Fallstudie: Welcher Titel passt besser zu einem Blogbeitrag?

Testen der Hypothese mit einem statistischen Test: Ist der Unterschied in den Klickraten der Titel signifikant?

Interpretation der Ergebnisse:

  • Auswahl eines Titels
  • Oder weitere Fragen stellen und neue Experimente durchführen!

a-b-test-headlines.jpg

Datenwissenschaft verstehen

Was ist A/B-Testing?

Auch bekannt als: Champion-/Herausforderer-Test

a-b-test.png

Datenwissenschaft verstehen

Begriffserklärung

  • Stichprobengröße: Anzahl der verwendeten Datenpunkte
  • Statistische Signifikanz: Das Ergebnis ist wahrscheinlich nicht rein zufällig entstanden
    • Gegebene Annahmen des statistischen Modells
    • Nutzen statistischer Tests, um die Signifikanz zu berechnen:
      • z. B.: t-Test, Z-Test, ANOVA, Chi-Quadrat-Test
Datenwissenschaft verstehen

Schritte beim A/B-Testing

  • Auswahl einer zu messenden Kennzahl
  • Berechnung der Stichprobengröße
  • Durchführung des Experiments
  • Prüfung auf Signifikanz
Datenwissenschaft verstehen

Wähle eine zu messende Metrik aus: Klickrate

click-on-link.jpg

Datenwissenschaft verstehen

sample-size-percent.jpg

  • Basiswert zur Messung von Veränderungen
    • Wie oft klicken Leute normalerweise auf einen Link zu unseren Blogs?
  • Wenn der Anteil viel größer oder kleiner als 50 % ist, brauchen wir eine größere Stichprobe
    • Die Klickrate ist normalerweise niedrig (< 3 %)
Datenwissenschaft verstehen

sample-size-sensitivity.jpg

Je größer die Stichprobe, desto kleinere Veränderungen können wir erkennen

Datenwissenschaft verstehen

Führe dein Experiment durch

run-experiment.jpg

Datenwissenschaft verstehen

Auf Signifikanz prüfen

significance.jpg

Datenwissenschaft verstehen

Was ist, wenn die Ergebnisse nicht signifikant sind?

  • Der Unterschied ist kleiner als der von uns gewählte Schwellenwert
  • Den Test länger laufen zu lassen, wird nicht helfen
  • Es mag nichtsdestotrotz einen Unterschied geben; er ist jedoch klein und für uns nicht relevant
Datenwissenschaft verstehen

Lass uns üben!

Datenwissenschaft verstehen

Preparing Video For Download...