Извлечение

Введение в дата-инжиниринг

Vincent Vankrunkelsven

Data Engineer, DataCamp

Извлечение данных: что это значит?

Диаграмма простого этапа извлечения

Извлечение из текстовых файлов

Неструктурированные

Обычный текст
Например, глава из книги

Call me Ishmael. Some years ago, never 
mind how long precisely, having little or
no money in my purse, and nothing particular
to interest me on shore, I thought ....

Плоские файлы

Строка = запись
Столбец = атрибут
Например, .tsv или .csv

Year,Make,Model,Price
1997,Ford,E350,3000.00
1999,Chevy,"Venture Extended Edition",4900.00
1999,Chevy,"Venture Extended Edition",5000.00
1996,Jeep,Grand Cherokee,4799.00

JSON

JavaScript Object Notation
Полуструктурированный формат
Атомарные типы
- number
- string
- boolean
- null
Составные типы
- array
- object

{
  "an_object": {
    "nested": [
      "one",
      "two",
      "three",
      {
        "key": "four"
      }
    ]
  }
}

import json

result = json.loads('{"key_1": "value_1", 
                      "key_2":"value_2"}')

print(result["key_1"])

value_1

Данные в интернете

Запросы

Диаграмма модели «запрос-ответ»

Пример

Переход на Google
Запрос к серверу Google
Google отвечает веб-страницей

Данные в интернете через API

Отправка данных в формате JSON
API: программный интерфейс приложения
Примеры
- GitHub API

{ "login": "datacamp", "type": "Organization", "created_at": "2013-05-14T13:01:20Z" }

Hackernews API

import requests


response = requests.get("https://hacker-news.firebaseio.com/v0/item/16222426.json")
print(response.json())

{'by': 'neis', 'descendants': 0, 'id': 16222426, 'score': 17, 'time': 1516800333, 'title': .... }

Данные в базах данных

Прикладные базы данных

Транзакции
Вставки и изменения
OLTP
Ориентация на строки

Аналитические базы данных

OLAP
Ориентация на столбцы

Извлечение из баз данных

Строка подключения/URI

postgresql://[user[:password]@][host][:port]

Использование в Python

import sqlalchemy
connection_uri = "postgresql://repl:password@localhost:5432/pagila" 
db_engine = sqlalchemy.create_engine(connection_uri)


import pandas as pd
pd.read_sql("SELECT * FROM customer", db_engine)

Давайте потренируемся!

Введение в дата-инжиниринг