Çıkarma

Data Engineering'e Giriş

Vincent Vankrunkelsven

Data Engineer, DataCamp

Veri çıkarmak: ne demek?

Basit çıkarma aşamasını gösteren diyagram

Metin dosyalarından çıkarma

Yapılandırılmamış

Düz metin
Örn. bir kitaptan bölüm

Call me Ishmael. Some years ago, never 
mind how long precisely, having little or
no money in my purse, and nothing particular
to interest me on shore, I thought ....

Düz dosyalar

Satır = kayıt
Sütun = öznitelik
Örn. .tsv veya .csv

Year,Make,Model,Price
1997,Ford,E350,3000.00
1999,Chevy,"Venture Extended Edition",4900.00
1999,Chevy,"Venture Extended Edition",5000.00
1996,Jeep,Grand Cherokee,4799.00

JSON

JavaScript Object Notation
Yarı yapılandırılmış
Atomik
- number
- string
- boolean
- null
Bileşik
- array
- object

{
  "an_object": {
    "nested": [
      "one",
      "two",
      "three",
      {
        "key": "four"
      }
    ]
  }
}

import json

result = json.loads('{"key_1": "value_1", 
                      "key_2":"value_2"}')

print(result["key_1"])

value_1

Web'deki veriler

İstekler

İstek-yanıt modelini gösteren diyagram

Örnek

Google'a git
Google sunucusuna istek gönder
Google web sayfasıyla yanıt verir

API'lerle Web'deki veriler

Veriyi JSON formatında gönderir
API: application programming interface
Örnekler
- GitHub API

{ "login": "datacamp", "type": "Organization", "created_at": "2013-05-14T13:01:20Z" }

Hackernews API

import requests


response = requests.get("https://hacker-news.firebaseio.com/v0/item/16222426.json")
print(response.json())

{'by': 'neis', 'descendants': 0, 'id': 16222426, 'score': 17, 'time': 1516800333, 'title': .... }

Veritabanlarındaki veriler

Uygulama veritabanları

İşlemler
Ekleme/değişiklikler
OLTP
Satır odaklı

Analitik veritabanları

OLAP
Sütun odaklı

Veritabanlarından çıkarma

Bağlantı dizesi/URI

postgresql://[user[:password]@][host][:port]

Python'da kullanım

import sqlalchemy
connection_uri = "postgresql://repl:password@localhost:5432/pagila" 
db_engine = sqlalchemy.create_engine(connection_uri)


import pandas as pd
pd.read_sql("SELECT * FROM customer", db_engine)

Hadi pratik yapalım!

Data Engineering'e Giriş