Импорт плоских файлов с помощью NumPy

Введение в импорт данных в Python

Hugo Bowne-Anderson

Data Scientist at DataCamp

Зачем использовать NumPy?

  • Массивы NumPy: стандарт для хранения числовых данных

 

ch_1_3.003.png

Введение в импорт данных в Python

Зачем использовать NumPy?

  • Массивы NumPy: стандарт для хранения числовых данных
  • Необходим для других пакетов, например scikit-learn ch_1_3.004.png
  • loadtxt()
  • genfromtxt()
Введение в импорт данных в Python

Импорт плоских файлов с помощью NumPy

import numpy as np
filename = 'MNIST.txt'
data = np.loadtxt(filename, delimiter=',')
data

[[   0.    0.    0.    0.    0.]
 [  86.  250.  254.  254.  254.]
 [   0.    0.    0.    9.  254.]
 ..., 
 [   0.    0.    0.    0.    0.]
 [   0.    0.    0.    0.    0.]
 [   0.    0.    0.    0.    0.]]
Введение в импорт данных в Python

Настройка импорта NumPy

import numpy as np
filename = 'MNIST_header.txt'
data = np.loadtxt(filename, delimiter=',', skiprows=1)
print(data)

[[   0.    0.    0.    0.    0.]
 [  86.  250.  254.  254.  254.]
 [   0.    0.    0.    9.  254.]
 ..., 
 [   0.    0.    0.    0.    0.]
 [   0.    0.    0.    0.    0.]
 [   0.    0.    0.    0.    0.]]
  • skiprows: количество строк (не индексов), которые нужно пропустить
Введение в импорт данных в Python

Настройка импорта NumPy

import numpy as np
filename = 'MNIST_header.txt'
data = np.loadtxt(filename, delimiter=',', skiprows=1, usecols=[0, 2])
print(data)

[[   0.    0.]
 [  86.  254.]
 [   0.    0.]
 ..., 
 [   0.    0.]
 [   0.    0.]
 [   0.    0.]]
  • usecols: список индексов столбцов, которые нужно сохранить
Введение в импорт данных в Python

Настройка импорта NumPy

data = np.loadtxt(filename, delimiter=',', dtype=str)
Введение в импорт данных в Python

Смешанные типы данных

titanic.csv

                        Name      Sex  Cabin   Fare
     Braund, Mr. Owen Harris     male    NaN    7.3
  Cumings, Mrs. John Bradley   female    C85   71.3
      Heikkinen, Miss. Laina   female    NaN    8.0
Futrelle, Mrs. Jacques Heath   female   C123   53.1
    Allen, Mr. William Henry     male    NaN   8.05
1 Источник: Kaggle
Введение в импорт данных в Python

Смешанные типы данных

titanic.csv

                        Name      Sex  Cabin   Fare
     Braund, Mr. Owen Harris     male    NaN    7.3
  Cumings, Mrs. John Bradley   female    C85   71.3
      Heikkinen, Miss. Laina   female    NaN    8.0
Futrelle, Mrs. Jacques Heath   female   C123   53.1
    Allen, Mr. William Henry     male    NaN   8.05
               ^                                 ^
            strings                           floats
1 Источник: Kaggle
Введение в импорт данных в Python

Давайте потренируемся!

Введение в импорт данных в Python

Preparing Video For Download...