Доверительные интервалы

Выборка в Python

James Chapman

Curriculum Manager, DataCamp

Доверительные интервалы

  • «Значения в пределах одного стандартного отклонения от среднего» охватывают большую часть значений каждого из этих распределений
  • Введём связанное понятие — доверительный интервал
Выборка в Python

Прогноз погоды

  • Рапид-Сити (Южная Дакота, США) отличается наименее предсказуемой погодой
  • Наша задача — спрогнозировать максимальную температуру там завтра

Карта погоды: цвета показывают степень предсказуемости по регионам.

Выборка в Python

Наш прогноз погоды

  • Точечная оценка = 47°F (8,3°C)
  • Диапазон вероятных значений максимальной температуры = от 40 до 54°F (от 4,4 до 12,8°C)
Выборка в Python

Мы только что получили доверительный интервал!

  • От 40 до 54°F — это доверительный интервал
  • Иногда записывают как 47°F (40°F, 54°F) или 47°F [40°F, 54°F]
  • ... или как 47 ± 7°F
  • 7°F — это погрешность
Выборка в Python

Бутстрап-распределение среднего вкуса

import matplotlib.pyplot as plt
plt.hist(coffee_boot_distn, bins=15)
plt.show()

Гистограмма среднего значения вкуса кофе.

Выборка в Python

Среднее по ресэмплам

import numpy as np
np.mean(coffee_boot_distn)

7.513452892

Гистограмма среднего вкуса кофе с вертикальной чёрной полосой, указывающей среднее значение.

Выборка в Python

Среднее плюс-минус одно стандартное отклонение

np.mean(coffee_boot_distn)

7.513452892

np.mean(coffee_boot_distn) - np.std(coffee_boot_distn, ddof=1)

7.497385709174466

np.mean(coffee_boot_distn) + np.std(coffee_boot_distn, ddof=1)

7.529520074825534

Гистограмма средних значений вкуса кофе с вертикальными полосами, указывающими среднее и стандартные отклонения.

Выборка в Python

Метод квантилей для доверительных интервалов

np.quantile(coffee_boot_distn, 0.025)

7.4817195

np.quantile(coffee_boot_distn, 0.975)

7.5448805

Линия 95-процентного доверительного интервала.

Выборка в Python

Обратная функция накопленного распределения

  • PDF: колоколообразная кривая
  • CDF: интеграл даёт площадь под кривой
  • Обратная CDF: смена осей x и y

Реализация в Python с помощью

from scipy.stats import norm
norm.ppf(quantile, loc=0, scale=1)

Обратная функция накопленного распределения.

Выборка в Python

Метод стандартной ошибки для доверительного интервала

point_estimate = np.mean(coffee_boot_distn)

7.513452892

std_error = np.std(coffee_boot_distn, ddof=1)

0.016067182825533724

from scipy.stats import norm
lower = norm.ppf(0.025, loc=point_estimate, scale=std_error)
upper = norm.ppf(0.975, loc=point_estimate, scale=std_error)
print((lower, upper))

(7.481961792328933, 7.544943991671067)
Выборка в Python

Давайте потренируемся!

Выборка в Python

Preparing Video For Download...