平面文件简介

使用 pandas 高效导入数据

Amany Mahfouz

Instructor

pandas

pandas 标志

使用 pandas 高效导入数据

数据框（DataFrame）

  • pandas 的二维数据结构

包含国家、首都和国土面积（平方英里）的数据框

使用 pandas 高效导入数据

数据框（DataFrame）

  • pandas 的二维数据结构

突出显示列标签（Country、Population、Area (sq. mi.)）的数据框

使用 pandas 高效导入数据

数据框（DataFrame）

  • pandas 的二维数据结构

突出显示行标签/索引的数据框

使用 pandas 高效导入数据

平面文件

  • 简单、易生成
  • 以纯文本存储（无格式）
  • 每行一条记录
  • 用分隔符分隔各字段值
  • 最常见类型：逗号分隔值（CSV）
  • 一个 pandas 函数全搞定：read_csv()
使用 pandas 高效导入数据

加载 CSV

  • us_tax_data_2016.csv 示例
STATEFIPS,STATE,zipcode,agi_stub,...,N11901,A11901,N11902,A11902
1,AL,0,1,...,63420,51444,711580,1831661

import pandas as pd


tax_data = pd.read_csv("us_tax_data_2016.csv")

tax_data.head(4)

   STATEFIPS STATE  zipcode  agi_stub   ...     N11901  A11901  N11902   A11902
0          1    AL        0         1   ...      63420   51444  711580  1831661
1          1    AL        0         2   ...      74090  110889  416090  1173463
2          1    AL        0         3   ...      64000  143060  195130   543284
3          1    AL        0         4   ...      45020  128920  117410   381329

[4 rows x 147 columns]
使用 pandas 高效导入数据

加载其他平面文件

  • 用 sep 指定不同分隔符
  • us_tax_data_2016.tsv 示例
    STATEFIPS    STATE    zipcode    agi_stub    ...    N11901    A11901    N11902    A11902
1    AL    0    1    ...    63420    51444    711580    1831661

import pandas as pd

tax_data = pd.read_csv("us_tax_data_2016.tsv", sep="\t")

tax_data.head(3)

   STATEFIPS STATE  zipcode  agi_stub   ...     N11901  A11901  N11902   A11902
0          1    AL        0         1   ...      63420   51444  711580  1831661
1          1    AL        0         2   ...      74090  110889  416090  1173463
2          1    AL        0         3   ...      64000  143060  195130   543284

[3 rows x 147 columns]
使用 pandas 高效导入数据

Passons à la pratique !

使用 pandas 高效导入数据

Preparing Video For Download...