Introduction to Flat Files

การนำเข้าข้อมูลด้วย pandas อย่างมีประสิทธิภาพ

Amany Mahfouz

Instructor

pandas

pandas logo

Data Frames

โครงสร้างข้อมูลสองมิติเฉพาะของ pandas

ตาราง DataFrame แสดงประเทศ เมืองหลวง และพื้นที่ประเทศเป็นตารางไมล์

Data Frames

โครงสร้างข้อมูลสองมิติเฉพาะของ pandas

ตาราง DataFrame ที่ไฮไลต์ป้ายกำกับคอลัมน์ (Country, Population และ Area (sq. mi.))

Data Frames

โครงสร้างข้อมูลสองมิติเฉพาะของ pandas

ตาราง DataFrame ที่ไฮไลต์ป้ายกำกับแถว/ดัชนี

Flat Files

รูปแบบเรียบง่าย สร้างได้ง่าย
จัดเก็บข้อมูลเป็นข้อความธรรมดา (ไม่มีการจัดรูปแบบ)
หนึ่งแถวต่อหนึ่งบรรทัด
แต่ละฟิลด์คั่นด้วยตัวคั่น (delimiter)
ประเภทที่พบบ่อยที่สุด: comma-separated values
ใช้ฟังก์ชันเดียวใน pandas เพื่อโหลด: read_csv()

การโหลดไฟล์ CSV

ตัวอย่างไฟล์ us_tax_data_2016.csv

STATEFIPS,STATE,zipcode,agi_stub,...,N11901,A11901,N11902,A11902
1,AL,0,1,...,63420,51444,711580,1831661

import pandas as pd


tax_data = pd.read_csv("us_tax_data_2016.csv")

tax_data.head(4)

   STATEFIPS STATE  zipcode  agi_stub   ...     N11901  A11901  N11902   A11902
0          1    AL        0         1   ...      63420   51444  711580  1831661
1          1    AL        0         2   ...      74090  110889  416090  1173463
2          1    AL        0         3   ...      64000  143060  195130   543284
3          1    AL        0         4   ...      45020  128920  117410   381329

[4 rows x 147 columns]

การโหลด Flat Files ประเภทอื่น

ระบุตัวคั่นอื่นด้วย sep

ตัวอย่างไฟล์ us_tax_data_2016.tsv

STATEFIPS    STATE    zipcode    agi_stub    ...    N11901    A11901    N11902    A11902
1    AL    0    1    ...    63420    51444    711580    1831661

import pandas as pd

tax_data = pd.read_csv("us_tax_data_2016.tsv", sep="\t")

tax_data.head(3)

   STATEFIPS STATE  zipcode  agi_stub   ...     N11901  A11901  N11902   A11902
0          1    AL        0         1   ...      63420   51444  711580  1831661
1          1    AL        0         2   ...      74090  110889  416090  1173463
2          1    AL        0         3   ...      64000  143060  195130   543284

[3 rows x 147 columns]

มาฝึกกันเถอะ!

การนำเข้าข้อมูลด้วย pandas อย่างมีประสิทธิภาพ