गैर-टैब्युलर डेटा निकालना

Python में ETL और ELT

Jake Roach

Data Engineer

गैर-टैब्युलर डेटा निकालना

ETL पाइपलाइन जिसमें extract घटक हाइलाइट है.

गैर-टैब्युलर डेटा के प्रकार

अधिकांश डेटा असंरचित होता है और उपयोग होता है

टेक्स्ट
ऑडियो
इमेज
वीडियो
स्पैशियल
IoT

ट्रांसफॉर्मेशन से गुजरते असंरचित डेटा स्रोत.

¹ https://mitsloan.mit.edu/ideas-made-to-matter/tapping-power-unstructured-data

APIs और JSON डेटा के साथ काम

API (Application Programming Interface)

डेटा स्रोतों के ऊपर बैठने वाला सॉफ़्टवेयर
डेटाबेस से सीधे इंटरैक्शन रोकता है

डेटा इंजीनियर API के जरिए डेटाबेस से इंटरैक्ट करता हुआ.

JSON (JavaScript Object Notation)

की-वैल्यू पेयर्स
फिक्स्ड स्कीमा नहीं
dictionaries जैसा लुक व फील

{
    "key": "value",
    ...
    "open": 0.121875
}

pandas से JSON फ़ाइलें पढ़ना

{
    "timestamps": [863703000, 863789400, ...],
    "open": [0.121875, 0.098438, ...],
    "close": [...],
    "volume": [...]
}

.read_json() फंक्शन का उपयोग करें

# ऊपर दिए फ़ॉर्मेट वाले JSON फ़ाइल को पढ़ें
raw_stock_data = pd.read_json("raw_stock_data.json", orient="columns")

¹ https://pandas.pydata.org/docs/reference/api/pandas.read_json.html

Nested या असंरचित JSON डेटा

डेटा हमेशा DataFrame-ready नहीं होता

Nested ऑब्जेक्ट्स
बदलती "स्कीमा"

{
    "863703000": {
        "volume": 1443120000,
        "price": {
            "close": 0.09791,
            "open": 0.12187
        }
    }, 
    "863789400": {
        ...
    }, ...
}

json से JSON फ़ाइलें पढ़ना

import json

with open("raw_stock_data.json", "r") as file:
    # फ़ाइल को एक dictionary में लोड करें
    raw_stock_data = json.load(file)

# raw_stock_data वैरिएबल का प्रकार जाँचें
print(type(raw_stock_data))

<class 'dict'>

अभ्यास करते हैं!

Python में ETL और ELT