Riduzione della dimensionalità: tecniche di visualizzazione

Esercitarsi con le domande di colloquio di Machine Learning in Python

Lisa Stuart

Data Scientist

Perché ridurre la dimensionalità?

Velocizza l’addestramento ML
Visualizzazione
Migliora l’accuratezza

Tecniche di visualizzazione

PCA
t-SNE

Visualizzare con PCA

grafico PCA

¹ https://districtdatalabs.silvrback.com/principal-component-analysis-with-python

Scree plot

¹ https://towardsdatascience.com/a-step-by-step-explanation-of-principal-component-analysis-b836fb9c97e2

t-SNE

Probabilistica
Coppie di punti dati
Embedding a bassa dimensione
Traccia gli embedding

Visualizzare con t-SNE

# t-sne with loan data
from sklearn.manifold import TSNE
import seaborn as sns

loans =  pd.read_csv('loans_dataset.csv')

# Feature matrix
X = loans.drop('Loan Status', axis=1)

tsne = TSNE(n_components=2, verbose=1, perplexity=40)
tsne_results = tsne.fit_transform(X)

loans['t-SNE-PC-one'] = tsne_results[:,0]
loans['t-SNE-PC-two'] = tsne_results[:,1]


# t-sne viz
plt.figure(figsize=(16,10))
sns.scatterplot(
    x="t-SNE-PC-one", y="t-SNE-PC-two",
    hue="Loan Status",
    palette=sns.color_palette(["grey","blue"]),
    data=loans,
    legend="full",
    alpha=0.3
)

¹ https://scikit-learn.org/stable/modules/generated/sklearn.manifold.TSNE.html

Visualizzare con t-SNE

grafico t-SNE

PCA vs t-SNE: cifre

PCA e t-SNE su dataset di cifre

¹ https://towardsdatascience.com/visualising-high-dimensional-datasets-using-pca-and-t-sne-in-python-8ef87e7915b

Andiamo a fare pratica!

Esercitarsi con le domande di colloquio di Machine Learning in Python