Кластерная выборка

Анализ данных опросов на Python

EbunOluwa Andrew

Data Scientist

Что такое кластерная выборка?

Вся совокупность делится на несколько подгрупп
- Подгруппы имеют характеристики, схожие с генеральной совокупностью
Совокупность -> Кластеры
Отбираются не отдельные элементы, а случайным образом целые подгруппы

круговая диаграмма из людей

Зачем нужна кластерная выборка

Данные по всей совокупности собрать не всегда возможно
Это помогает минимизировать ошибку при большом объёме совокупности

перенаселённость

Шаги кластерного анализа выборки

Сначала разделите совокупность на кластеры
Затем выполните случайный отбор этих кластеров

кластер людей

Пример набора данных

print(mh_survey)

| gender | sought_treatment | country_work             |
|--------|------------------|--------------------------|
| Male   |                0 | United Kingdom           |
| Male   |                1 | United States of America |
| Male   |                1 | United Kingdom           |
| Male   |                1 | United Kingdom           |
| Female |                1 | United States of America |
| Male   |                1 | United Kingdom           |
| Male   |                0 | United States of America |
...

Набор данных и график

mh_survey.groupby('country_work')[
  'gender'].count()

groups = mh_survey.groupby(
  'country_work')['gender'].count(
).reset_index()

groups.columns=['country_work','count']

groups.plot.bar(x='country_work',
                y='count')

столбчатая диаграмма мест работы IT-специалистов

¹ _отображена часть данных из-за ограничения места_

Выбор кластеров

unique_countries = list(set(mh_survey.country_work))

random_clusters = np.random.choice(unique_countries, size = 10, replace = False)

print(random_clusters)

array(['Finland', 'Australia', 'Sweden', 'South Africa', 'Pakistan',
       'France', 'Ecuador', 'United Arab Emirates', 'United Kingdom',
       'Bangladesh'], dtype='<U24')

Создание кластерной выборки

cluster_sample = mh_survey[mh_survey.country_work.isin(random_clusters)]
print(cluster_sample.head())

| gender | sought_treatment | US_state_live        |
|--------|------------------|----------------------|
| Male   |                1 |             Pakistan |
| Male   |                1 |             Pakistan |
| Male   |                1 | United Arab Emirates |
| Male   |                1 |             Pakistan |
| Female |                0 |           Bangladesh |

Визуализация кластерной выборки

treatment_pie = cluster_sample.sought_treatment.value_counts(normalize = True)
treatment_pie.plot.pie()

круговая диаграмма sought_treatment

Визуализация кластерной выборки

array(['Bangladesh', 'South Africa', 'Other', 'Norway', 'Poland',
       'Romania', 'New Zealand', 'France', 'United States of America',
       'Bulgaria'], dtype='<U24')

круговая диаграмма sought_treatment

Давайте потренируемся!

Анализ данных опросов на Python