Modifier l'import de fichiers plats

Ingestion de données rationalisée avec pandas

Amany Mahfouz

Instructor

Données fiscales américaines

tax_data = pd.read_csv('us_tax_data_2016.csv')

print(tax_data.shape)

(179796, 147)

Limiter les colonnes

Choisissez les colonnes à charger avec le paramètre usecols
Accepte une liste de numéros ou de noms de colonnes, ou une fonction pour filtrer les noms

col_names = ['STATEFIPS', 'STATE', 'zipcode', 'agi_stub', 'N1']

col_nums = [0, 1, 2, 3, 4]

# Choisir les colonnes à charger par nom
tax_data_v1 = pd.read_csv('us_tax_data_2016.csv', 
                        usecols=col_names)

# Choisir les colonnes à charger par numéro
tax_data_v2 = pd.read_csv('us_tax_data_2016.csv',
                        usecols=col_nums)

print(tax_data_v1.equals(tax_data_v2))

True

Limiter les lignes

Limitez le nombre de lignes chargées avec le paramètre nrows

tax_data_first1000 = pd.read_csv('us_tax_data_2016.csv', nrows=1000)

print(tax_data_first1000.shape)

(1000, 147)

Limiter les lignes

Utilisez nrows et skiprows ensemble pour traiter un fichier par blocs
skiprows accepte une liste de numéros de lignes, un nombre de lignes ou une fonction pour filtrer les lignes
Définissez header=None pour indiquer à pandas qu'il n'y a pas de noms de colonnes

tax_data_next500 = pd.read_csv('us_tax_data_2016.csv', 
                               nrows=500, 
                               skiprows=1000, 
                               header=None)

Limiter les lignes

print(tax_data_next500.head(1))

   0   1      2    3     4     5    6    7     8     9     10   ...    136  137   138  139  140  141  142  143   144   145   146
0    1  AL  35565    4   270     0  250    0   210   790   280  ...   1854  260  1978    0    0    0    0   50   222   210   794

[1 rows x 147 columns]

Attribuer des noms de colonnes

Fournissez les noms de colonnes via une liste passée à l'argument names
La liste DOIT contenir un nom pour chaque colonne de vos données
Si vous ne renommez que quelques colonnes, faites-le après l'import !

Attribuer des noms de colonnes

col_names = list(tax_data_first1000)

tax_data_next500 = pd.read_csv('us_tax_data_2016.csv',

                               nrows=500, 
                               skiprows=1000,

                               header=None,

                               names=col_names)

print(tax_data_next500.head(1))

   STATEFIPS STATE  zipcode  agi_stub   ...  N11901  A11901  N11902  A11902
0          1    AL    35565         4   ...      50     222     210     794

[1 rows x 147 columns]

Passons à la pratique !

Ingestion de données rationalisée avec pandas