Úvod do plochých souborů

Streamlined Data Ingestion with pandas

Amany Mahfouz

Instructor

pandas

logo pandas

Datové rámce

Struktura pandas pro dvourozměrná data

DataFrame se zeměmi, hlavními městy a rozlohou v čtverečních mílích

Datové rámce

Struktura pandas pro dvourozměrná data

DataFrame se zvýrazněnými popisky sloupců (Country, Population, Area (sq. mi.))

Datové rámce

Struktura pandas pro dvourozměrná data

DataFrame se zvýrazněnými popisky řádků a indexy

Ploché soubory

Jednoduchý a snadno vytvořitelný formát
Data uložena jako prostý text (bez formátování)
Jeden řádek na záznam
Hodnoty jsou odděleny oddělovačem
Nejběžnější typ: hodnoty oddělené čárkou (CSV)
Jedna funkce pandas pro načtení: read_csv()

Načítání souborů CSV

Ukázka souboru us_tax_data_2016.csv

STATEFIPS,STATE,zipcode,agi_stub,...,N11901,A11901,N11902,A11902
1,AL,0,1,...,63420,51444,711580,1831661

import pandas as pd


tax_data = pd.read_csv("us_tax_data_2016.csv")

tax_data.head(4)

   STATEFIPS STATE  zipcode  agi_stub   ...     N11901  A11901  N11902   A11902
0          1    AL        0         1   ...      63420   51444  711580  1831661
1          1    AL        0         2   ...      74090  110889  416090  1173463
2          1    AL        0         3   ...      64000  143060  195130   543284
3          1    AL        0         4   ...      45020  128920  117410   381329

[4 rows x 147 columns]

Načítání jiných plochých souborů

Jiný oddělovač zadejte pomocí sep

Ukázka souboru us_tax_data_2016.tsv

STATEFIPS    STATE    zipcode    agi_stub    ...    N11901    A11901    N11902    A11902
1    AL    0    1    ...    63420    51444    711580    1831661

import pandas as pd

tax_data = pd.read_csv("us_tax_data_2016.tsv", sep="\t")

tax_data.head(3)

   STATEFIPS STATE  zipcode  agi_stub   ...     N11901  A11901  N11902   A11902
0          1    AL        0         1   ...      63420   51444  711580  1831661
1          1    AL        0         2   ...      74090  110889  416090  1173463
2          1    AL        0         3   ...      64000  143060  195130   543284

[3 rows x 147 columns]

Pojďme procvičovat!

Streamlined Data Ingestion with pandas