Подготовка данных для сегментации

Машинное обучение для маркетинга на Python

Karolis Urbonas

Head of Analytics & Science, Amazon

Допущения моделей

  • Начнём с K-means
  • K-means хорошо работает, когда данные 1) ~нормально распределены (без скоса) и 2) стандартизированы (среднее = 0, стандартное отклонение = 1)
  • Вторая модель — NMF — применима к исходным данным, особенно если матрица разреженная
Машинное обучение для маркетинга на Python

Устранение скоса с помощью логарифмического преобразования

# First option - log transformation
wholesale_log = np.log(wholesale)

sns.pairplot(wholesale_log, diag_kind='kde')
plt.show()
Машинное обучение для маркетинга на Python

Исследование логарифмически преобразованных данных

Парный график после логарифмического преобразования

Машинное обучение для маркетинга на Python

Устранение скоса с помощью преобразования Бокса–Кокса

# Second option - Box-Cox transformation
from scipy import stats

def boxcox_df(x):
    x_boxcox, _ = stats.boxcox(x)
    return x_boxcox

wholesale_boxcox = wholesale.apply(boxcox_df, axis=0)

sns.pairplot(wholesale_boxcox, diag_kind='kde')
plt.show()
Машинное обучение для маркетинга на Python

Исследование данных после преобразования Бокса–Кокса

Парный график после преобразования Бокса–Кокса

Машинное обучение для маркетинга на Python

Масштабирование данных

  • Вычтите среднее значение столбца из каждого его элемента
  • Разделите каждый элемент столбца на его стандартное отклонение
  • Используем модуль StandardScaler() из sklearn
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()

scaler.fit(wholesale_boxcox)
wholesale_scaled = scaler.transform(wholesale_boxcox)
wholesale_scaled_df = pd.DataFrame(data=wholesale_scaled,
                                   index=wholesale_boxcox.index,
                                   columns=wholesale_boxcox.columns)
wholesale_scaled_df.agg(['mean','std']).round()

      Fresh  Milk  Grocery  Frozen  Detergents_Paper  Delicassen
mean   -0.0   0.0      0.0     0.0              -0.0         0.0
std     1.0   1.0      1.0     1.0               1.0         1.0
Машинное обучение для маркетинга на Python

Давайте потренируемся!

Машинное обучение для маркетинга на Python

Preparing Video For Download...