Điều chỉnh nhập tệp phẳng

Nạp dữ liệu gọn nhẹ với pandas

Amany Mahfouz

Instructor

Dữ liệu thuế Hoa Kỳ

tax_data = pd.read_csv('us_tax_data_2016.csv')

print(tax_data.shape)

(179796, 147)

Giới hạn cột

Chọn cột cần tải với đối số usecols
Chấp nhận danh sách số thứ tự hoặc tên cột, hoặc hàm lọc tên cột

col_names = ['STATEFIPS', 'STATE', 'zipcode', 'agi_stub', 'N1']

col_nums = [0, 1, 2, 3, 4]

# Chọn theo tên cột
tax_data_v1 = pd.read_csv('us_tax_data_2016.csv', 
                        usecols=col_names)

# Chọn theo số thứ tự cột
tax_data_v2 = pd.read_csv('us_tax_data_2016.csv',
                        usecols=col_nums)

print(tax_data_v1.equals(tax_data_v2))

True

Giới hạn hàng

Giới hạn số hàng tải bằng đối số nrows

tax_data_first1000 = pd.read_csv('us_tax_data_2016.csv', nrows=1000)

print(tax_data_first1000.shape)

(1000, 147)

Giới hạn hàng

Dùng nrows và skiprows cùng nhau để xử lý tệp theo lô
skiprows chấp nhận danh sách số hàng, một số hàng, hoặc hàm lọc hàng
Đặt header=None để pandas biết không có tên cột

tax_data_next500 = pd.read_csv('us_tax_data_2016.csv', 
                               nrows=500, 
                               skiprows=1000, 
                               header=None)

Giới hạn hàng

print(tax_data_next500.head(1))

   0   1      2    3     4     5    6    7     8     9     10   ...    136  137   138  139  140  141  142  143   144   145   146
0    1  AL  35565    4   270     0  250    0   210   790   280  ...   1854  260  1978    0    0    0    0   50   222   210   794

[1 rows x 147 columns]

Gán tên cột

Cung cấp tên cột bằng cách truyền một danh sách cho đối số names
Danh sách PHẢI có tên cho mọi cột trong dữ liệu
Nếu chỉ cần đổi tên vài cột, hãy làm sau khi nhập!

Gán tên cột

col_names = list(tax_data_first1000)

tax_data_next500 = pd.read_csv('us_tax_data_2016.csv',

                               nrows=500, 
                               skiprows=1000,

                               header=None,

                               names=col_names)

print(tax_data_next500.head(1))

   STATEFIPS STATE  zipcode  agi_stub   ...  N11901  A11901  N11902  A11902
0          1    AL    35565         4   ...      50     222     210     794

[1 rows x 147 columns]

Ayo berlatih!

Nạp dữ liệu gọn nhẹ với pandas