标签编码

在 Python 中处理分类数据

Kasey Jones

Research Data Scientist

什么是标签编码？

基础：

  • 将每个类别编码为 0 到 n - 1 的整数，其中 n 为类别数
  • -1 预留给缺失值
  • 可节省内存
  • 在问卷中常用

缺点：

  • 不适合机器学习中的最佳编码方法（见下一课）
在 Python 中处理分类数据

创建编码

转换为分类并按制造商名称排序

used_cars['manufacturer_name'] = used_cars['manufacturer_name'].astype("category")

使用 .cat.codes

used_cars['manufacturer_code'] = used_cars['manufacturer_name'].cat.codes
在 Python 中处理分类数据

检查输出

print(used_cars[['manufacturer_name', 'manufacturer_code']])

      manufacturer_name  manufacturer_code
0                Subaru                 45
1                Subaru                 45
2                Subaru                 45
...                 ...                ...
38526          Chrysler                  8
38527          Chrysler                  8
在 Python 中处理分类数据

代码簿 / 数据字典

美国住房调查的示例代码簿。

1 https://www.census.gov/data-tools/demo/codebook/ahs/ahsdict.html
在 Python 中处理分类数据

创建代码簿

codes = used_cars['manufacturer_name'].cat.codes
categories = used_cars['manufacturer_name']

name_map = dict(zip(codes, categories))

print(name_map)

{45: 'Subaru',
 24: 'LADA',
 12: 'Dodge',
 ...
}
在 Python 中处理分类数据

使用代码簿

创建编码：

used_cars['manufacturer_code'] = used_cars['manufacturer_name'].cat.codes

还原为原值：

used_cars['manufacturer_code'].map(name_map)

0        Acura
1        Acura
2        Acura
...
1 https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.map.html
在 Python 中处理分类数据

布尔编码

查找包含"van"的所有车身类型：

# 上节课代码：
used_cars["body_type"].str.contains("van", regex=False)

创建布尔编码：

used_cars["van_code"] = np.where(
  used_cars["body_type"].str.contains("van", regex=False), 1, 0)

used_cars["van_code"].value_counts()

0    34115
1     4416
Name: van_code, dtype: int64
在 Python 中处理分类数据

编码练习

在 Python 中处理分类数据

Preparing Video For Download...