pandas के साथ डेटा को स्थायी बनाना

Python में ETL और ELT

Jake Roach

Data Engineer

ETL पाइपलाइन में डेटा को स्थायी बनाना

डेटा को फ़ाइल में लोड करना:

सुनिश्चित करता है कि उपभोक्ताओं को ट्रांसफ़ॉर्म्ड डेटा तक स्थिर एक्सेस मिले
ETL प्रक्रिया के अंतिम चरण में, साथ ही अलग-अलग चरणों के बीच भी होता है
डेटा का एक "स्नैपशॉट" कैप्चर करता है

pandas से CSV फ़ाइलों में डेटा लोड करना

.to_csv() मेथड

import pandas as pd

# Data extraction and transformation
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]

# Load data to a .csv file
stock_data.to_csv("stock_data.csv")

.to_csv DataFrame पर कॉल किया गया
DataFrame को पाथ "stock_data.csv" पर लिखता है

CSV आउटपुट कस्टमाइज़ करना

stock_data.to_csv("./stock_data.csv", header=True)

True, False या string की list लेता है

stock_data.to_csv("./stock_data.csv", index=True)

True या False लेता है
तय करता है कि index कॉलम फ़ाइल में लिखा जाए या नहीं

stock_data.to_csv("./stock_data.csv", sep="|")

फ़ाइल में कॉलम अलग करने के लिए प्रयुक्त string वैल्यू लेता है
| कैरेक्टर एक आम विकल्प है

समकक्ष मेथड:

.to_parquet()
.to_json()
.to_sql()

¹ https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_csv.html

डेटा पर्सिस्टेंस सुनिश्चित करना

क्या DataFrame सही तरह CSV फ़ाइल में स्टोर हुआ?

import pandas
import os  # Import the os module

# Extract, transform and load data
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]
stock_data.to_csv("stock_data.csv")

# Check that the path exists
file_exists = os.path.exists("stock_data.csv")
print(file_exists)

True

अभ्यास करते हैं!

Python में ETL और ELT