Ręczne testowanie potoku danych

ETL i ELT w Pythonie

Jake Roach

Data Engineer

Testowanie potoków danych

Potoki danych powinny być dokładnie testowane

Weryfikacja poprawności ekstrakcji, transformacji i ładowania danych

Walidacja potoków ogranicza koszty utrzymania po wdrożeniu

Identyfikacja i naprawa problemów z jakością danych
Zwiększa niezawodność danych

Narzędzia i techniki testowania potoków danych

Testowanie end-to-end
Walidacja danych w "punktach kontrolnych"
Testy jednostkowe

Środowiska testowe i produkcyjne

Środowiska testowe i produkcyjne do budowania i uruchamiania potoków danych.

Testowanie potoku end-to-end

Testowanie end-to-end potoku danych.

Testowanie end-to-end

Potwierdzenie działania potoku przy kolejnych uruchomieniach
Walidacja danych w punktach kontrolnych potoku
Przegląd kodu przez współpracowników, uwzględnianie uwag
Zapewnienie dostępu odbiorców i ich satysfakcji z rozwiązania

Walidacja punktów kontrolnych potoku

# Extract, transform, and load data as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
print(loaded_data.shape)

(6438, 4)

print(loaded_data.head())

         timestamps      volume      open     close                            
1997-05-15 13:30:00  1443120000  0.121875  0.097917
1997-05-16 13:30:00   294000000  0.098438  0.086458
1997-05-19 13:30:00   122136000  0.088021  0.085417

Walidacja obiektów DataFrame

# Extract, transform, and load data, as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)

# Compare the two DataFrames.
print(clean_stock_data.equals(loaded_data))

True

Czas na ćwiczenia!

ETL i ELT w Pythonie