Bir veri hattını elle test etme

Python ile ETL ve ELT

Jake Roach

Data Engineer

Veri hatlarını test etme

Veri hatları kapsamlı şekilde test edilmelidir

Verinin beklendiği gibi çıkarıldığını, dönüştürüldüğünü ve yüklendiğini doğrula

Hatları doğrulamak, yayına aldıktan sonra bakım çabasını azaltır

Veri kalitesi sorunlarını bul ve düzelt
Veri güvenilirliğini artırır

Veri hatlarını test etmek için araçlar ve teknikler

Uçtan uca test
"Kontrol noktalarında" veriyi doğrulama
Birim testi

Test ve üretim ortamları

Veri hatlarını kurmak ve çalıştırmak için test ve üretim ortamları.

Bir hattı uçtan uca test etme

Bir veri hattının uçtan uca testi.

Uçtan uca test

Hat tekrar denemelerde de çalışıyor mu, doğrula
Hat kontrol noktalarında veriyi doğrula
Akran incelemesi yap, geri bildirimi uygula
Tüketicinin erişimini ve çözüme memnuniyetini sağla

Hat kontrol noktalarını doğrulama

# Extract, transform, and load data as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
print(loaded_data.shape)

(6438, 4)

print(loaded_data.head())

         timestamps      volume      open     close                            
1997-05-15 13:30:00  1443120000  0.121875  0.097917
1997-05-16 13:30:00   294000000  0.098438  0.086458
1997-05-19 13:30:00   122136000  0.088021  0.085417

DataFrame'leri doğrulama

# Extract, transform, and load data, as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)

# Compare the two DataFrames.
print(clean_stock_data.equals(loaded_data))

True

Hadi pratik yapalım!

Python ile ETL ve ELT