जाँचें कि data extraction, transformation, और loading अपेक्षा के अनुसार हो रही है
$$
पाइपलाइन वैलिडेशन से डिप्लॉयमेंट के बाद मेंटेनेंस कम होता है
डेटा क्वालिटी समस्याएँ पहचानें और ठीक करें
डेटा reliability बेहतर होती है
डेटा पाइपलाइन टेस्ट करने के टूल और तकनीकें
End-to-end testing
"Checkpoints" पर data validation
Unit testing
टेस्टिंग और प्रोडक्शन environments
पाइपलाइन का end-to-end परीक्षण
End-to-end testing
सुनिश्चित करें कि पाइपलाइन बार-बार चलाने पर भी चलती है
पाइपलाइन checkpoints पर data validate करें
peer review करें, feedback अपनाएँ
उपभोक्ताओं की पहुँच और समाधान से संतुष्टि सुनिश्चित करें
पाइपलाइन checkpoints का validation
# Extract, transform, and load data as part of a pipeline
...
# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
print(loaded_data.shape)
(6438, 4)
print(loaded_data.head())
timestamps volume open close
1997-05-15 13:30:00 1443120000 0.121875 0.097917
1997-05-16 13:30:00 294000000 0.098438 0.086458
1997-05-19 13:30:00 122136000 0.088021 0.085417
DataFrames का validation
# Extract, transform, and load data, as part of a pipeline
...
# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
# Compare the two DataFrames.
print(clean_stock_data.equals(loaded_data))
Preparing Video For Download...
