Extracție

Introducere în Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Extragerea datelor: ce înseamnă?

Diagramă care reprezintă faza simplă de extracție

Extragere din fișiere text

Nestructurat

Text simplu
De ex. un capitol dintr-o carte

Call me Ishmael. Some years ago, never 
mind how long precisely, having little or
no money in my purse, and nothing particular
to interest me on shore, I thought ....

Fișiere plate

Rând = înregistrare
Coloană = atribut
De ex. .tsv sau .csv

Year,Make,Model,Price
1997,Ford,E350,3000.00
1999,Chevy,"Venture Extended Edition",4900.00
1999,Chevy,"Venture Extended Edition",5000.00
1996,Jeep,Grand Cherokee,4799.00

JSON

JavaScript Object Notation
Semistructurat
Atomic
- number
- string
- boolean
- null
Compus
- array
- object

{
  "an_object": {
    "nested": [
      "one",
      "two",
      "three",
      {
        "key": "four"
      }
    ]
  }
}

import json

result = json.loads('{"key_1": "value_1", 
                      "key_2":"value_2"}')

print(result["key_1"])

value_1

Date pe web

Cereri

Diagramă care reprezintă modelul cerere-răspuns

Exemplu

Accesează Google
Cerere către serverul Google
Google răspunde cu o pagină web

Date pe web prin API-uri

Trimite date în format JSON
API: interfață de programare a aplicațiilor
Exemple
- GitHub API

{ "login": "datacamp", "type": "Organization", "created_at": "2013-05-14T13:01:20Z" }

Hackernews API

import requests


response = requests.get("https://hacker-news.firebaseio.com/v0/item/16222426.json")
print(response.json())

{'by': 'neis', 'descendants': 0, 'id': 16222426, 'score': 17, 'time': 1516800333, 'title': .... }

Date în baze de date

Baze de date pentru aplicații

Tranzacții
Inserări sau modificări
OLTP
Orientate pe rânduri

Baze de date analitice

OLAP
Orientate pe coloane

Extragere din baze de date

Șir de conexiune/URI

postgresql://[user[:password]@][host][:port]

Utilizare în Python

import sqlalchemy
connection_uri = "postgresql://repl:password@localhost:5432/pagila" 
db_engine = sqlalchemy.create_engine(connection_uri)


import pandas as pd
pd.read_sql("SELECT * FROM customer", db_engine)

Hai să exersăm!

Introducere în Data Engineering