Pruebas A/B

Comprender la ciencia de datos

Lis Sulmont

Curriculum Manager, DataCamp

Flujo de trabajo de la ciencia de datos

Flujo de trabajo de ciencia de datos

Comprender la ciencia de datos

¿Qué son los experimentos en ciencia de datos?

Los experimentos ayudan a tomar decisiones y a sacar conclusiones.

  1. Formular una pregunta
  2. Formular una hipótesis
  3. Recopilar datos
  4. Probar la hipótesis con una prueba estadística
  5. Interpretar resultados
Comprender la ciencia de datos

Caso práctico: ¿cuál es el mejor título de entrada de blog?

Formular una pregunta: ¿el título del blog A o el título del blog B produce más clics?

Formular una hipótesis: el título del blog A y el título del blog B generan la misma cantidad de clics.

Recopilar datos:

  • El 50 % de los usuarios verá el título del blog A
  • El 50 % de los usuarios verá el título del blog B
  • Seguir la tasa de clics hasta alcanzar el tamaño de muestra

a-b-test-headlines.jpg

Comprender la ciencia de datos

Caso práctico: ¿cuál es el mejor título de entrada de blog?

Probar la hipótesis con una prueba estadística: ¿es significativa la diferencia en las tasas de clics de los títulos?

Interpretar resultados:

  • Eligir un título
  • O hacer más preguntas y diseñar otro experimento

a-b-test-headlines.jpg

Comprender la ciencia de datos

¿Qué es la prueba A/B?

Pruebas de campeón/aspirante de la AKA

a-b-test.png

Comprender la ciencia de datos

Revisión de terminología

  • Tamaño de la muestra: número de puntos de datos utilizados
  • Significación estadística: el resultado probablemente no se deba al azar
    • Suposiciones dadas del modelo estadístico
    • Usa pruebas estadísticas para calcularlo:
      • P. ej., prueba t, prueba Z, ANOVA, prueba de chi-cuadrado
Comprender la ciencia de datos

Pasos de las pruebas A/B

  • Elegir un parámetro de seguimiento
  • Calcular el tamaño de la muestra
  • Llevar a cabo el experimento
  • Comprobar la significación
Comprender la ciencia de datos

Elige un parámetro de seguimiento: tasa de clics

click-on-link.jpg

Comprender la ciencia de datos

sample-size-percent.jpg

  • Parámetro de referencia para evaluar cualquier cambio
    • Con qué frecuencia suele hacer clic la gente en un enlace a nuestros blogs
  • Si la tasa es mucho mayor o menor que el 50 %, necesitamos un tamaño de muestra grande
    • La tasa de clics suele ser baja (<3 %)
Comprender la ciencia de datos

sample-size-sensitivity.jpg

Los tamaños de muestra más grandes nos permiten detectar cambios más pequeños

Comprender la ciencia de datos

Ejecuta tu experimento

run-experiment.jpg

Comprender la ciencia de datos

Comprobar la significación

significance.jpg

Comprender la ciencia de datos

¿Y si los resultados no son significativos?

  • La diferencia es menor que el umbral que elegimos
  • Ejecutar nuestra prueba durante más tiempo no ayudará
  • Todavía puede haber una diferencia; para nosotros es pequeña e insignificante
Comprender la ciencia de datos

¡Practiquemos!

Comprender la ciencia de datos

Preparing Video For Download...