Витяг

Вступ до Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Витяг даних: що це означає?

Схема, що показує просту фазу витягу

Витяг із текстових файлів

Неструктуровані

Звичайний текст
Напр., розділ книги

Call me Ishmael. Some years ago—never 
mind how long precisely—having little or
no money in my purse, and nothing particular
to interest me on shore, I thought ....

Плоскі файли

Рядок = запис
Стовпець = атрибут
Напр., .tsv або .csv

Year,Make,Model,Price
1997,Ford,E350,3000.00
1999,Chevy,"Venture Extended Edition",4900.00
1999,Chevy,"Venture Extended Edition",5000.00
1996,Jeep,Grand Cherokee,4799.00

JSON

JavaScript Object Notation
Напівструктуровані
Прості типи
- number
- string
- boolean
- null
Складені типи
- array
- object

{
  "an_object": {
    "nested": [
      "one",
      "two",
      "three",
      {
        "key": "four"
      }
    ]
  }
}

import json

result = json.loads('{"key_1": "value_1", 
                      "key_2":"value_2"}')

print(result["key_1"])

value_1

Дані в інтернеті

Запити

Схема моделі запит-відповідь

Приклад

Перейдіть на Google
Запит до сервера Google
Google повертає вебсторінку

Дані в інтернеті через API

Надсилайте дані у форматі JSON
API: application programming interface
Приклади
- Twitter API

{ "statuses": [{ "created_at": "Mon May 06 20:01:29 +0000 2019", "text": "this is a tweet"}] }

Hackernews API

import requests


response = requests.get("https://hacker-news.firebaseio.com/v0/item/16222426.json")
print(response.json())

{'by': 'neis', 'descendants': 0, 'id': 16222426, 'score': 17, 'time': 1516800333, 'title': .... }

Дані в базах даних

Бази даних застосунків

Транзакції
Вставки або зміни
OLTP
Орієнтація на рядки

Аналітичні бази даних

OLAP
Орієнтація на стовпці

Витяг із баз даних

Рядок підключення/URI

postgresql://[user[:password]@][host][:port]

Використання в Python

import sqlalchemy
connection_uri = "postgresql://repl:password@localhost:5432/pagila" 
db_engine = sqlalchemy.create_engine(connection_uri)


import pandas as pd
pd.read_sql("SELECT * FROM customer", db_engine)

Давайте потренуємось!

Вступ до Data Engineering