Validando suas previsões

Construindo mecanismos de recomendação em Python

Rob O'Callaghan

Director of Data

Conjuntos de hold-out

Matriz grande

Conjuntos de hold-out

Matriz grande com a última coluna destacada

Conjuntos de hold-out

Matriz grande com a última coluna destacada ao lado de matriz sem destaque

Conjuntos de hold-out

Matriz grande com a última coluna destacada ao lado de matriz com destaque irregular

Conjuntos de hold-out

Matriz grande com linhas inferiores destacadas como hold-out ao lado de matriz sem destaque

Conjuntos de hold-out

Matriz grande com linhas inferiores destacadas como hold-out ao lado de matriz com canto inferior esquerdo destacado

Separando o conjunto de hold-out

actual_values = act_ratings_df.iloc[:20, :100].values

act_ratings_df.iloc[:20, :100] = np.nan

Gere previsões como antes.

predicted_values = calc_pred_ratings_df.iloc[:20, :100].values

Mascarando o conjunto de hold-out

mask = ~np.isnan(actual_values)

print(actual_values[mask])

[4.  4.  5.  3.  3.  ...]

print(predicted_values[mask])

[3.76, 4.35,  4.95,  3.5869079 3.686337   ...]

Introduzindo RMSE (root mean squared error)

Tabela de valores reais versus previstos

Introduzindo RMSE (root mean squared error)

Tabela de valores reais versus previstos e sua diferença

Introduzindo RMSE (root mean squared error)

Tabela de valores reais versus previstos, sua diferença e a diferença ao quadrado

Introduzindo RMSE (root mean squared error)

Tabela de valores reais versus previstos, sua diferença, diferença ao quadrado e a equação do RMSE

Introduzindo RMSE (root mean squared error)

Tabela de valores reais versus previstos, sua diferença, diferença ao quadrado e a equação do RMSE

Introduzindo RMSE (root mean squared error)

Tabela de valores reais versus previstos, sua diferença, diferença ao quadrado e a equação do RMSE

RMSE em Python

from sklearn.metrics import mean_squared_error

print(mean_squared_error(actual_values[mask],
                         predicted_values[mask],
                         squared=False))

3.6223997

Vamos praticar!

Construindo mecanismos de recomendação em Python