Labels, zwakke labels en waarheid

Machine Learning-workflows ontwerpen in Python

Dr. Chris Anagnostopoulos

Honorary Associate Professor

Labels zijn niet altijd perfect

Graden van waarheid:

Ground truth
- de computer crasht en er verschijnt een bericht met losgeldeis
Labeling door expert
- de analist bekijkt de logs en vindt ongeautoriseerd gedrag
Heuristische labeling
- te veel poorten ontvingen verkeer in een zeer korte tijd

Ruisvrije of sterke labels:

Ruisige of zwakke labels:

Feature-engineering:

Gemiddeld aantal unieke poorten per geïnfecteerde host:

np.mean(X[y]['unique_ports'])

15.11

Gemiddeld aantal unieke poorten per host, labels genegeerd:

np.mean(X['unique_ports'])

11.23

Zet een feature om in een labeling-heuristiek:

X_train, X_test, y_train, y_test = train_test_split(X, y)
y_weak_train = X_train['unique_ports'] > 15

Twee kopieën van de featurematrix gestapeld. Eén heeft labels van domeinexperts; de andere is gelabeld met een heuristiek.

X_train_aug = pd.concat([X_train, X_train])
y_train_aug = pd.concat([pd.Series(y_train), pd.Series(y_weak_train)])

De data zijn gestapeld zoals op de vorige slide, maar de originele labels krijgen gewicht 1,0 en de heuristische labels 0,5.

weights = [1.0]*len(y_train) + [0.1]*len(y_weak_train)

Nauwkeurigheid met alleen ground truth:

0.91

Ground truth en zwakke labels zonder gewichten:

accuracy_score(y_test, clf.fit(X_train_aug, y_train_aug).predict(X_test))

0.93

Voeg gewichten toe:

accuracy_score(y_test, clf.fit(X_train_aug, y_train_aug, sample_weight=weights).predict(X_test))

0.95

Machine Learning-workflows ontwerpen in Python