Визначення проблеми

Опрацювання ознак у PySpark

John Hogue

Lead Data Scientist, General Mills

Яка у вас проблема?

Передбачити ціну продажу будинку

  • Є ціна в оголошенні та ознаки
    • $X$, незалежні «відомі» змінні
  • За скільки купувати будинок
    • $Y$, залежна «невідома» змінна
    • SALESCLOSEPRICE

Будинки на продаж

Опрацювання ознак у PySpark

Контекст і обмеження наших даних про нерухомість

  • Продані будинки, район St Paul, MN
    • Включає кілька передмість
  • Типи нерухомості
    • Residential-Single
    • Residential-Multi-Family
  • Повний рік даних
    • Вплив сезонності

St Paul, MN

Опрацювання ознак у PySpark

Які типи атрибутів доступні?

  • Дати
    • Дата публікації
    • Рік побудови
  • Локація
    • Місто
    • Шкільний округ
    • Адреса
  • Розмір
    • К-сть спалень і ванних кімнат
    • Житлова площа
  • Ціна
    • Ціна в оголошенні
    • Підсумкова ціна продажу
  • Зручності
    • Басейн
    • Камін
    • Гараж
  • Будівельні матеріали
    • Обшивка
    • Дах
Опрацювання ознак у PySpark

Перевірка завантаження даних

  • DataFrame.count() для підрахунку рядків
df.count()

5000
  • DataFrame.columns для списку стовпців
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • Довжина DataFrame.columns — кількість стовпців
len(df.columns)

74
Опрацювання ознак у PySpark

Перевірка типів даних

DataFrame.dtypes

  • Створює список пар: стовпець і його тип даних
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
Опрацювання ознак у PySpark

Давайте потренуємось

Опрацювання ознак у PySpark

Preparing Video For Download...