ETL और ELT पाइपलाइंस बनाना

Python में ETL और ELT

Jake Roach

Data Engineer

CSV फ़ाइल से डेटा निकालें

import pandas as pd

# Read in the CSV file to a DataFrame
data_frame = pd.read_csv("raw_data.csv")

# Output the first few rows
data_frame.head()

   name         num_firms   total_income
0  Advertising     58         3892.41
1  Apparel         39         5422.69
...
49 Trucking        35         17324.36

read_csv()

फ़ाइल पाथ लेता है, एक DataFrame लौटाता है
delimiter, header, engine

.head()

DataFrame की शुरुआती n पंक्तियाँ दिखाता है

DataFrame फ़िल्टर करना

   name         num_firms   total_income
0  Advertising     58         3892.41
1  Apparel         39         5422.69
...
49 Trucking        35         17324.36


         name         num_firms
      1  Apparel         39
      37 Apparel         61

# First, by rows
data_frame.loc[data_frame["name"] == "Apparel", :]

# Then, by columns
data_frame.loc[:, ["name", "num_firms"]]

.loc

DataFrame को फ़िल्टर करता है
: का मतलब "सभी"

DataFrame को CSV फ़ाइल में लिखें

# Write a DataFrame to a .csv file
data_frame.to_csv("cleaned_data.csv")

.to_csv()

path लेता है, उस path पर सेव फ़ाइल से DataFrame बनाता है
आउटपुट कस्टमाइज़ करने के लिए अन्य पैरामीटर ले सकता है

अन्य विकल्प, जैसे:

.to_json(), .to_excel(), .to_sql()

SQL क्वेरी चलाना

data_warehouse.execute(  # Use Python clients or other tools to run SQL queries
    """
    CREATE TABLE total_sales AS 
        SELECT
            ds,
            SUM(sales)
        FROM raw_sales_data
        GROUP BY ds;
    """
)

.execute() जैसे टूल से SQL क्वेरी चलाएँ

सब कुछ जोड़कर देखें!

# Define extract(), transform(), and load() functions
...

def transform(data_frame, value):
    return data_frame.loc[data_frame["name"] == value, ["name", "num_firms"]]

# First, extract data from a .csv
extracted_data = extract(file_name="raw_data.csv")

# Then, transform the `extracted_data`
transformed_data = transform(data_frame=extracted_data, value="Apparel")

# Finally, load the `transformed_data`
load(data_frame=transformed_data, file_name="cleaned_data.csv")

अभ्यास करते हैं!

Python में ETL और ELT