Методы статистического моделирования

Анализ данных опросов на Python

EbunOluwa Andrew

Data Scientist

Зачем использовать методы статистического моделирования в анализе опросов?

  • Прогнозирование на основе связей между переменными
  • Поддержка инструментов визуализации
    • Наглядные и запоминающиеся выводы

Фото Chris Liverani на Unsplash — мужчина держит смартфон на фоне монитора

1 Фото: Chris Liverani on Unsplash
Анализ данных опросов на Python

Когда применять методы статистического моделирования

  • Сложные данные
  • Взаимовлияние переменных
  • Прогнозирование результата

Фото Tyler Easton на Unsplash — цифры на стене

1 Фото: Tyler Easton on Unsplash
Анализ данных опросов на Python

Примеры методов статистического моделирования

  • Линейная регрессия
  • Двухвыборочный t-тест
  • Критерий хи-квадрат

Фото Алекса Арцибашева на Unsplash — растущие столбцы диаграммы

Анализ данных опросов на Python

Модель линейной регрессии

  • Модель линейной регрессии
    • Предполагает линейную зависимость между переменными x и y
    • y = m*x + b
    • y = зависимая переменная
    • x = независимая переменная
    • m = наклон
    • b = точка пересечения с осью y

Фото с Seeing Theory-Brown.edu — линия наилучшего соответствия среди точек

1 Фото: Seeing Theory-Brown.edu
Анализ данных опросов на Python

Линейная регрессия в анализе опросов

employee gender company_type wfh_available mental_fatigue_score burn_rate
fff200 Male Service No 3 0.24
fff500 Female Service Yes 5.7 0.45
fff700 Female Service Yes 5.8 0.49
fff300 Female Service Yes 6.7 0.63
fff100 Female Product Yes 4.7 0.38
fff400 Male Service Yes 3.4 0.28
fff600 Female Product Yes 5.4 0.5
fffe3400 Female Product No 6.7 0.58
fffe200 Male Service Yes 6.3 0.48
fffe3000 Male Service Yes 5.4 0.41
Анализ данных опросов на Python

Линейная регрессия в анализе опросов

data.plot.scatter(
x='mental_fatigue_score',
y='burn_rate')
plt.show()

burn_rate vs. mental_fatigue_score

Анализ данных опросов на Python

Двухвыборочный t-тест

  • Проверка статистически значимых различий между средними двух генеральных совокупностей
  • Нулевая гипотеза = средние двух совокупностей равны
  • Альтернативная гипотеза = средние двух совокупностей НЕ равны

Фото Olesia Bahrii на Unsplash — две грозди винограда

1 Фото: Olesia Bahrii on Unsplash
Анализ данных опросов на Python

Двухвыборочный t-тест в анализе опросов

employee gender company_type wfh_available mental_fatigue_score burn_rate
fff100 Female Product Yes 4.7 0.38
fff400 Male Service Yes 3.4 0.28
fff600 Female Product Yes 5.4 0.5
company_type burn_rate
Service 0.57
Service 0.75
Service 0.51
Service 0.57
company_type burn_rate
Product 0.51
Product 0.79
Product 0.66
Product 0.39
Анализ данных опросов на Python

Критерий хи-квадрат

  • Проверка статистической значимости связи между двумя категориальными переменными
  • Нулевая гипотеза = нет значимой связи между переменными
  • Альтернативная гипотеза = значимая связь между переменными существует
Анализ данных опросов на Python

Критерий хи-квадрат в анализе опросов

  • Переменная №1

    • company_type
    • Product или Service

  • Переменная №2

    • wfh_available
    • Yes или No
company_type wfh_available
Product Yes
Product Yes
Product No
Service Yes
Service Yes
Product Yes
Service No
Service No
Product Yes
Service Yes
Анализ данных опросов на Python

Какой метод выбрать? — линейная регрессия

Обе переменные = числовые

Диаграмма рассеяния: калории vs. минуты

Анализ данных опросов на Python

Какой метод выбрать? — двухвыборочный t-тест

  • Двухвыборочный t-тест
    • Одна переменная = категориальная
    • Одна переменная = числовая

Фото Diana Polekhina на Unsplash — белая и чёрная рулетка на жёлтой поверхности

1 Фото: Diana Polekhina on Unsplash
Анализ данных опросов на Python

Какой метод выбрать? — критерий хи-квадрат

  • Критерий хи-квадрат
    • Обе переменные = категориальные

Фото Element5 Digital на Unsplash — силуэт голосования

1 Фото: Element5 Digital on Unsplash
Анализ данных опросов на Python

Давайте потренируемся!

Анализ данных опросов на Python

Preparing Video For Download...