ग़ैर-टैब्युलर डेटा निकालना

Python में ETL और ELT

Jake Roach

Data Engineer

ग़ैर-टैब्युलर डेटा निकालना

एक्सट्रैक्ट कम्पोनेंट हाइलाइट किए ETL पाइपलाइन।

ग़ैर-टैब्युलर डेटा के प्रकार

अधिकांश उत्पादित/उपयोग किया गया डेटा असंरचित होता है

टेक्स्ट
ऑडियो
इमेज
वीडियो
स्पैटियल
IoT

ट्रांसफ़ॉर्मेशन से गुजरते असंरचित डेटा सोर्सेज।

¹ https://mitsloan.mit.edu/ideas-made-to-matter/tapping-power-unstructured-data

APIs और JSON डेटा के साथ काम

API (Application Programming Interface)

डेटा सोर्सेज के ऊपर बैठने वाला सॉफ़्टवेयर
डेटाबेस से डायरेक्ट इंटरैक्शन रोकता है

डेटा इंजीनियर API के ज़रिए डेटाबेस से इंटरैक्ट करता हुआ।

JSON (JavaScript Object Notation)

की-वैल्यू पेयर्स
तय स्कीमा नहीं
रूप dictionaries जैसा

{
    "key": "value",
    ...
    "open": 0.121875
}

pandas से JSON फ़ाइलें पढ़ना

{
    "timestamps": [863703000, 863789400, ...],
    "open": [0.121875, 0.098438, ...],
    "close": [...],
    "volume": [...]
}

.read_json() फंक्शन का उपयोग करें

# Read in a JSON file in the format above
raw_stock_data = pd.read_json("raw_stock_data.json", orient="columns")

¹ https://pandas.pydata.org/docs/reference/api/pandas.read_json.html

नेस्टेड या असंरचित JSON डेटा

डेटा हमेशा DataFrame-रेडी नहीं होता

नेस्टेड ऑब्जेक्ट्स
बदलता "स्कीमा"

{
    "863703000": {
        "volume": 1443120000,
        "price": {
            "close": 0.09791,
            "open": 0.12187
        }
    }, 
    "863789400": {
        ...
    }, ...
}

json से JSON फ़ाइलें पढ़ना

import json

with open("raw_stock_data.json", "r") as file:
    # Load the file into a dictionary
    raw_stock_data = json.load(file)

# Confirm the type of the raw_stock_data variable
print(type(raw_stock_data))

<class 'dict'>

अभ्यास करते हैं!

Python में ETL और ELT