Import plochých souborů pomocí NumPy

Úvod do importu dat v Pythonu

Hugo Bowne-Anderson

Data Scientist at DataCamp

Proč NumPy?

Pole NumPy: standard pro ukládání numerických dat

ch_1_3.003.png

Proč NumPy?

Pole NumPy: standard pro ukládání numerických dat
Nezbytné pro další balíčky: např. scikit-learn
loadtxt()
genfromtxt()

Import plochých souborů pomocí NumPy

import numpy as np
filename = 'MNIST.txt'
data = np.loadtxt(filename, delimiter=',')
data

[[   0.    0.    0.    0.    0.]
 [  86.  250.  254.  254.  254.]
 [   0.    0.    0.    9.  254.]
 ..., 
 [   0.    0.    0.    0.    0.]
 [   0.    0.    0.    0.    0.]
 [   0.    0.    0.    0.    0.]]

Přizpůsobení importu v NumPy

import numpy as np
filename = 'MNIST_header.txt'
data = np.loadtxt(filename, delimiter=',', skiprows=1)
print(data)

[[   0.    0.    0.    0.    0.]
 [  86.  250.  254.  254.  254.]
 [   0.    0.    0.    9.  254.]
 ..., 
 [   0.    0.    0.    0.    0.]
 [   0.    0.    0.    0.    0.]
 [   0.    0.    0.    0.    0.]]

skiprows: kolik řádků (nikoli indexů) chcete přeskočit

Přizpůsobení importu v NumPy

import numpy as np
filename = 'MNIST_header.txt'
data = np.loadtxt(filename, delimiter=',', skiprows=1, usecols=[0, 2])
print(data)

[[   0.    0.]
 [  86.  254.]
 [   0.    0.]
 ..., 
 [   0.    0.]
 [   0.    0.]
 [   0.    0.]]

usecols: seznam indexů sloupců, které chcete zachovat

Přizpůsobení importu v NumPy

data = np.loadtxt(filename, delimiter=',', dtype=str)

Smíšené datové typy

titanic.csv

                        Name      Sex  Cabin   Fare
     Braund, Mr. Owen Harris     male    NaN    7.3
  Cumings, Mrs. John Bradley   female    C85   71.3
      Heikkinen, Miss. Laina   female    NaN    8.0
Futrelle, Mrs. Jacques Heath   female   C123   53.1
    Allen, Mr. William Henry     male    NaN   8.05

¹ Zdroj: Kaggle

Smíšené datové typy

titanic.csv

                        Name      Sex  Cabin   Fare
     Braund, Mr. Owen Harris     male    NaN    7.3
  Cumings, Mrs. John Bradley   female    C85   71.3
      Heikkinen, Miss. Laina   female    NaN    8.0
Futrelle, Mrs. Jacques Heath   female   C123   53.1
    Allen, Mr. William Henry     male    NaN   8.05
               ^                                 ^
            strings                           floats

¹ Zdroj: Kaggle

Pojďme procvičovat!

Úvod do importu dat v Pythonu