pandas के साथ डेटा पर्सिस्ट करना

Python में ETL और ELT

Jake Roach

Data Engineer

ETL पाइपलाइन में डेटा पर्सिस्ट करना

डेटा को फाइल में लोड करना:

सुनिश्चित करता है कि उपभोक्ताओं को ट्रांसफॉर्म्ड डेटा तक स्थिर पहुँच मिले
ETL प्रक्रिया के अंतिम चरण में, साथ ही अलग-अलग चरणों के बीच भी होता है
डेटा का एक "snapshot" कैप्चर करता है

pandas से CSV फाइल में डेटा लोड करना

.to_csv() मेथड

import pandas as pd

# Data extraction and transformation
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]

# Load data to a .csv file
stock_data.to_csv("stock_data.csv")

DataFrame पर .to_csv कॉल किया गया
DataFrame को पाथ "stock_data.csv" पर लिखता है

CSV आउटपुट कस्टमाइज़ करना

stock_data.to_csv("./stock_data.csv", header=True)

True, False या string वैल्यू की लिस्ट लेता है

stock_data.to_csv("./stock_data.csv", index=True)

True या False लेता है
तय करता है कि index कॉलम फाइल में लिखा जाए या नहीं

stock_data.to_csv("./stock_data.csv", sep="|")

फाइल में कॉलम अलग करने के लिए प्रयुक्त string वैल्यू लेता है
| कैरेक्टर एक आम विकल्प है

इसके समकक्ष मौजूद हैं:

.to_parquet()
.to_json()
.to_sql()

¹ https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_csv.html

डेटा पर्सिस्टेंस सुनिश्चित करना

क्या DataFrame सही तरह CSV फाइल में स्टोर हुआ?

import pandas
import os  # Import the os module

# Extract, transform and load data
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]
stock_data.to_csv("stock_data.csv")

# Check that the path exists
file_exists = os.path.exists("stock_data.csv")
print(file_exists)

True

अभ्यास करते हैं!

Python में ETL और ELT