Date categoriale în pandas

Lucrul cu date categoriale în Python

Kasey Jones

Research Data Scientist

dtype-uri: object

adult = pd.read_csv("data/adult.csv")
adult.dtypes
Age                 int64
Workclass          object
fnlgwt              int64
Education          object
Education Num       int64
Marital Status     object
Occupation         object
Relationship       object
...
Lucrul cu date categoriale în Python

dtype-uri: categorial

dtype implicit:

adult["Marital Status"].dtype
dtype('O')

Setare ca tip categorial:

adult["Marital Status"] = adult["Marital Status"].astype("category")
adult["Marital Status"].dtype
CategoricalDtype(categories=[' Divorced', ' Married-AF-spouse',
' Married-civ-spouse', ' Married-spouse-absent', ' Never-married',
' Separated', ' Widowed'], ordered=False)
Lucrul cu date categoriale în Python

Crearea unui Series categorial

my_data = ["A", "A", "C", "B", "C", "A"]
my_series1 = pd.Series(my_data, dtype="category")
print(my_series1)
0    A
1    A
2    C
...
dtype: category
Categories (3, object): [A, B, C]
Lucrul cu date categoriale în Python

Crearea unui Series categorial

my_data = ["A", "A", "C", "B", "C", "A"]
my_series2 = pd.Categorical(my_data, categories=["C", "B", "A"], ordered=True)
my_series2
[A, A, C, B, C, A]
Categories (3, object): [C < B < A]
Lucrul cu date categoriale în Python

De ce folosim tipul categorial: memorie

Economie de memorie:

adult = pd.read_csv("data/adult.csv")
adult["Marital Status"].nbytes
260488
adult["Marital Status"] = adult["Marital Status"].astype("category")
adult["Marital Status"].nbytes
32617
Lucrul cu date categoriale în Python

Specificați dtype-urile la citirea datelor

  1. Creați un dicționar:

    adult_dtypes = {"Marital Status": "category"}
    
  2. Setați parametrul dtype:

    adult = pd.read_csv("data/adult.csv", dtype=adult_dtypes)
    
  3. Verificați dtype:

    adult["Marital Status"].dtype
    
CategoricalDtype(categories=[' Divorced', ' Married-AF-spouse',
                             ..., ' Widowed'], ordered=False)
Lucrul cu date categoriale în Python

Practică pandas category

Lucrul cu date categoriale în Python

Preparing Video For Download...