Label encoding

Arbeiten mit kategorialen Daten in Python

Kasey Jones

Research Data Scientist

Was ist Label Encoding?

Basics:

Kodiert jede Kategorie als Integer von 0 bis n - 1, wobei n die Anzahl der Kategorien ist
-1 ist für fehlende Werte reserviert
Spart oft Speicher
Häufig in Umfragen genutzt

Nachteil:

Nicht optimal für Machine Learning (siehe nächste Lektion)

Codes erstellen

In Kategorie umwandeln und nach Herstellername sortieren

used_cars['manufacturer_name'] = used_cars['manufacturer_name'].astype("category")

.cat.codes verwenden

used_cars['manufacturer_code'] = used_cars['manufacturer_name'].cat.codes

Ausgabe prüfen

print(used_cars[['manufacturer_name', 'manufacturer_code']])

      manufacturer_name  manufacturer_code
0                Subaru                 45
1                Subaru                 45
2                Subaru                 45
...                 ...                ...
38526          Chrysler                  8
38527          Chrysler                  8

Codebooks / Data Dictionaries

Ein Beispiel-Codebook aus der American Housing Survey.

¹ https://www.census.gov/data-tools/demo/codebook/ahs/ahsdict.html

Codebook erstellen

codes = used_cars['manufacturer_name'].cat.codes
categories = used_cars['manufacturer_name']

name_map = dict(zip(codes, categories))

print(name_map)

{45: 'Subaru',
 24: 'LADA',
 12: 'Dodge',
 ...
}

Ein Codebook verwenden

Codes erstellen:

used_cars['manufacturer_code'] = used_cars['manufacturer_name'].cat.codes

Auf frühere Werte zurücksetzen:

used_cars['manufacturer_code'].map(name_map)

0        Acura
1        Acura
2        Acura
...

¹ https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.map.html

Boolesche Codierung

Finde alle Karosseriearten mit „van“:

# Code aus der vorherigen Lektion:
used_cars["body_type"].str.contains("van", regex=False)

Erzeuge eine boolesche Codierung:

used_cars["van_code"] = np.where(
  used_cars["body_type"].str.contains("van", regex=False), 1, 0)

used_cars["van_code"].value_counts()

0    34115
1     4416
Name: van_code, dtype: int64

Encoding: Übung

Arbeiten mit kategorialen Daten in Python