Pruebas A/B

Comprender la ciencia de datos

Lis Sulmont

Curriculum Manager, DataCamp

Flujo de trabajo de la ciencia de datos

Flujo de trabajo de la ciencia de datos

Comprender la ciencia de datos

¿Qué son los experimentos en la ciencia de datos?

Los experimentos ayudan a tomar decisiones y sacar conclusiones

  1. Forma una pregunta
  2. Formular una hipótesis
  3. Recoger datos **
  4. Comprueba la hipótesis con una prueba estadística
  5. Interpreta los resultados
Comprender la ciencia de datos

Caso práctico: ¿cuál es el mejor título para una entrada de blog?

Forma una pregunta: ¿El título del blog A o el título del blog B produce más clics?

Formula una hipótesis: El título del blog A y el título del blog B producen la misma cantidad de clics.

Recoger datos **

  • El 50% de los usuarios verán el título del blog A
  • El 50% de los usuarios verán el título B del blog
  • Haz un seguimiento del porcentaje de clics hasta alcanzar el tamaño de la muestra

a-b-test-headlines.jpg

Comprender la ciencia de datos

Caso práctico: ¿cuál es el mejor título para una entrada de blog?

Comprueba la hipótesis con una prueba estadística: ¿Es significativa la diferencia en el porcentaje de clics de los títulos?

Interpreta los resultados:

  • Elige un título
  • ¡O haz más preguntas y diseña otro experimento!

a-b-test-headlines.jpg

Comprender la ciencia de datos

¿Qué son las pruebas A/B?

AKA Pruebas Campeón/Challenger

a-b-test.png

Comprender la ciencia de datos

Revisión terminológica

  • Tamaño de la muestra: número de puntos de datos utilizados
  • Significación estadística: es probable que el resultado no se deba al azar
    • Dados los supuestos del modelo estadístico
    • Utiliza pruebas estadísticas para calcularlo:
      • por ejemplo, prueba t, prueba Z, ANOVA, prueba Chi-cuadrado
Comprender la ciencia de datos

Pasos de las pruebas A/B

  • Elegir un parámetro de seguimiento
  • Calcular el tamaño de la muestra
  • Ejecutar el experimento
  • Comprobar la significación
Comprender la ciencia de datos

Elige una métrica de seguimiento: porcentaje de clics

click-on-link.jpg

Comprender la ciencia de datos

sample-size-percent.jpg

  • Medida de referencia para medir cualquier cambio
    • Con qué frecuencia suele pinchar la gente en un enlace a nuestros blogs
  • Si la tasa es mucho mayor o menor que el 50%, necesitamos una muestra de gran tamaño
    • El porcentaje de clics suele ser pequeño (<3%)
Comprender la ciencia de datos

sample-size-sensitivity.jpg

Las muestras de mayor tamaño nos permiten detectar cambios más pequeños

Comprender la ciencia de datos

Ejecuta tu experimento

run-experiment.jpg

Comprender la ciencia de datos

Comprueba la significación

significance.jpg

Comprender la ciencia de datos

¿Y si los resultados no son significativos?

  • La diferencia es menor que el umbral que elegimos
  • Ejecutar nuestra prueba durante más tiempo no ayudará
  • Todavía puede haber una diferencia; sólo que es pequeña e insignificante para nosotros
Comprender la ciencia de datos

¡Vamos a practicar!

Comprender la ciencia de datos

Preparing Video For Download...