Definir un problema

Ingeniería de características con PySpark

John Hogue

Lead Data Scientist, General Mills

¿Cuál es tu problema?

Predecir el precio de venta de una casa

Se dan el precio de anuncio y las características
- $X$, variables independientes «conocidas»
¿Por cuánto comprar la casa?
- $Y$, variable dependiente «desconocida»
- SALESCLOSEPRICE

Casas en venta

Contexto y limitaciones de nuestro inmobiliario

Viviendas vendidas en el área de St Paul, MN
- Incluye varios suburbios
Tipos de inmuebles
- Residencial unifamiliar
- Residencial multifamiliar
Año completo de datos
- Impacto de la estacionalidad

St Paul, MN

¿Qué tipos de atributos hay?

Fechas
- Fecha de anuncio
- Año de construcción
Ubicación
- Ciudad
- Distrito escolar
- Dirección
Tamaño
- Nº de dormitorios y baños
- Superficie habitable

Precio
- Precio de lista
- Precio de cierre
Servicios
- Piscina
- Chimenea
- Garaje
Materiales de construcción
- Revestimiento exterior
- Cubierta/tejado

Validar la carga de datos

DataFrame.count() para contar filas

df.count()

DataFrame.columns para la lista de columnas

df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]

Longitud de DataFrame.columns para el número de columnas

len(df.columns)

Comprobar tipos de datos

DataFrame.dtypes

Crea una lista de tuplas con columnas y sus tipos de datos

df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]

¡Vamos a practicar!

Ingeniería de características con PySpark

Preparing Video For Download...