एक्सट्रैक्ट

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

डेटा निकालना: इसका मतलब क्या है?

साधारण extract चरण का आरेख

टेक्स्ट फाइलों से एक्सट्रैक्ट

Unstructured

सादा टेक्स्ट
जैसे, किसी किताब का अध्याय

Call me Ishmael. Some years ago, never 
mind how long precisely, having little or
no money in my purse, and nothing particular
to interest me on shore, I thought ....

Flat files

Row = रिकॉर्ड
Column = एट्रिब्यूट
जैसे, .tsv या .csv

Year,Make,Model,Price
1997,Ford,E350,3000.00
1999,Chevy,"Venture Extended Edition",4900.00
1999,Chevy,"Venture Extended Edition",5000.00
1996,Jeep,Grand Cherokee,4799.00

JSON

JavaScript Object Notation
सेमी-स्ट्रक्चर्ड
एटॉमिक
- number
- string
- boolean
- null
कॉम्पोज़िट
- array
- object

{
  "an_object": {
    "nested": [
      "one",
      "two",
      "three",
      {
        "key": "four"
      }
    ]
  }
}

import json

result = json.loads('{"key_1": "value_1", 
                      "key_2":"value_2"}')

print(result["key_1"])

value_1

वेब पर डेटा

रिक्वेस्ट्स

रिक्वेस्ट-रेस्पॉन्स मॉडल का आरेख

उदाहरण

Google ब्राउज़ करें
Google सर्वर को रिक्वेस्ट
Google वेब पेज लौटाए

APIs के जरिए वेब पर डेटा

डेटा JSON फ़ॉर्मेट में भेजें
API: application programming interface
उदाहरण
- GitHub API

{ "login": "datacamp", "type": "Organization", "created_at": "2013-05-14T13:01:20Z" }

Hackernews API

import requests


response = requests.get("https://hacker-news.firebaseio.com/v0/item/16222426.json")
print(response.json())

{'by': 'neis', 'descendants': 0, 'id': 16222426, 'score': 17, 'time': 1516800333, 'title': .... }

डेटाबेस में डेटा

एप्लिकेशन डेटाबेस

ट्रांजैक्शंस
इन्सर्ट या बदलाव
OLTP
रो-ओरिएंटेड

एनालिटिकल डेटाबेस

OLAP
कॉलम-ओरिएंटेड

डेटाबेस से एक्सट्रैक्शन

कनेक्शन स्ट्रिंग/URI

postgresql://[user[:password]@][host][:port]

Python में उपयोग

import sqlalchemy
connection_uri = "postgresql://repl:password@localhost:5432/pagila" 
db_engine = sqlalchemy.create_engine(connection_uri)


import pandas as pd
pd.read_sql("SELECT * FROM customer", db_engine)

अभ्यास करते हैं!

Introduction to Data Engineering