डेटा पाइपलाइन का मैनुअल परीक्षण

Python में ETL और ELT

Jake Roach

Data Engineer

डेटा पाइपलाइन की टेस्टिंग

डेटा पाइपलाइन का अच्छी तरह परीक्षण होना चाहिए

  • जाँचें कि डेटा अपेक्षित रूप से extract, transform, और load हो रहा है

$$

पाइपलाइन को validate करने से डिप्लॉयमेंट के बाद मेंटेनेंस कम होता है

  • डेटा क्वालिटी समस्याएँ पहचानें और ठीक करें
  • डेटा की विश्वसनीयता बढ़ती है

डेटा पाइपलाइन टेस्ट करने के टूल और तकनीकें

  • एंड-टू-एंड टेस्टिंग
  • "चेकपॉइंट्स" पर डेटा validate करना
  • यूनिट टेस्टिंग
Python में ETL और ELT

टेस्टिंग और प्रोडक्शन एनवायरनमेंट्स

डेटा पाइपलाइन बनाने और चलाने के लिए टेस्ट और प्रोडक्शन एनवायरनमेंट्स.

Python में ETL और ELT

पाइपलाइन को एंड-टू-एंड टेस्ट करना

डेटा पाइपलाइन की एंड-टू-एंड टेस्टिंग.

एंड-टू-एंड टेस्टिंग

  • पुष्टि करें कि पाइपलाइन बार-बार रन पर सफल होती है
  • पाइपलाइन चेकपॉइंट्स पर डेटा validate करें
  • पीयर रिव्यू करें, फीडबैक शामिल करें
  • कंज्यूमर एक्सेस और समाधान से संतुष्टि सुनिश्चित करें
Python में ETL और ELT

पाइपलाइन चेकपॉइंट्स को validate करना

# Extract, transform, and load data as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
print(loaded_data.shape)
(6438, 4)
print(loaded_data.head())
         timestamps      volume      open     close                            
1997-05-15 13:30:00  1443120000  0.121875  0.097917
1997-05-16 13:30:00   294000000  0.098438  0.086458
1997-05-19 13:30:00   122136000  0.088021  0.085417
Python में ETL और ELT

DataFrames को validate करना

# Extract, transform, and load data, as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)

# Compare the two DataFrames.
print(clean_stock_data.equals(loaded_data))
True
Python में ETL और ELT

अभ्यास करते हैं!

Python में ETL और ELT

Preparing Video For Download...