Chọn thuật toán

Feature Engineering với PySpark

John Hogue

Lead Data Scientist, General Mills

Toàn cảnh Spark ML

Sơ đồ ML

Feature Engineering với PySpark

Toàn cảnh Spark ML

Sơ đồ ML

Feature Engineering với PySpark

Toàn cảnh Spark ML

Sơ đồ ML

Feature Engineering với PySpark

Toàn cảnh Spark ML

Sơ đồ ML

Feature Engineering với PySpark

Các phương pháp hồi quy trong PySpark

Các phương thức trong ml.regression:

  • GeneralizedLinearRegression
  • IsotonicRegression
  • LinearRegression

 

  • DecisionTreeRegression
  • GBTRegression
  • RandomForestRegression
Feature Engineering với PySpark

Các phương pháp hồi quy trong PySpark

Các phương thức trong ml.regression:

  • GeneralizedLinearRegression
  • IsotonicRegression
  • LinearRegression

 

  • DecisionTreeRegression
  • GBTRegression
  • RandomForestRegression
Feature Engineering với PySpark

Sơ đồ RFR

Feature Engineering với PySpark

Chia train/test cho chuỗi thời gian

Tối ưu bước đi tới

https://www.kaggle.com/c/santander-value-prediction-challenge/discussion/61408

Feature Engineering với PySpark

Chia train/test cho chuỗi thời gian

# Create variables for max and min dates in our dataset
max_date = df.agg({'OFFMKTDATE': 'max'}).collect()[0][0]
min_date = df.agg({'OFFMKTDATE': 'min'}).collect()[0][0]

# Find how many days our data spans
from pyspark.sql.functions import datediff
range_in_days = datediff(max_date, min_date)

# Find the date to split the dataset on
from pyspark.sql.functions import date_add
split_in_days = round(range_in_days * 0.8)
split_date = date_add(min_date, split_in_days)

# Split the data into 80% train, 20% test
train_df = df.where(df['OFFMKTDATE'] < split_date) 
test_df = df.where(df['OFFMKTDATE'] >= split_date)\
  .where(df['LISTDATE'] >= split_date)
Feature Engineering với PySpark

Ayo berlatih!

Feature Engineering với PySpark

Preparing Video For Download...