Definiowanie problemu

Inżynieria cech z PySpark

John Hogue

Lead Data Scientist, General Mills

Jaki mamy problem?

Przewidywanie ceny sprzedaży domu

Dane wejściowe: cena ofertowa i cechy nieruchomości
- $X$, niezależne zmienne „znane"
Szacowana cena zakupu domu
- $Y$, zależna zmienna „nieznana"
- SALESCLOSEPRICE

Domy na sprzedaż

Kontekst i ograniczenia danych o nieruchomościach

Domy sprzedane w okolicach St Paul, MN
- Obejmuje okoliczne przedmieścia
Typy nieruchomości
- Mieszkalne jednorodzinne
- Mieszkalne wielorodzinne
Pełny rok danych
- Wpływ sezonowości

St Paul, MN

Jakie atrybuty są dostępne?

Daty
- Data wystawienia
- Rok budowy
Lokalizacja
- Miasto
- Okręg szkolny
- Adres
Rozmiar
- Liczba sypialni i łazienek
- Powierzchnia mieszkalna

Cena
- Cena ofertowa
- Cena finalna sprzedaży
Udogodnienia
- Basen
- Kominek
- Garaż
Materiały budowlane
- Elewacja
- Pokrycie dachu

Weryfikacja wczytanych danych

DataFrame.count() – liczba wierszy

df.count()

DataFrame.columns – lista kolumn

df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]

Długość DataFrame.columns – liczba kolumn

len(df.columns)

Sprawdzanie typów danych

DataFrame.dtypes

Tworzy listę krotek: kolumna i typ danych

df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]

Czas na ćwiczenia!

Inżynieria cech z PySpark

Preparing Video For Download...