Einen Data Context erstellen

Einführung in Data Quality mit Great Expectations

Davina Moossazadeh

Data Scientist

Was ist Datenqualität?

Wie gut ein Datensatz für seinen Zweck geeignet ist

  • Vollständigkeit
  • Genauigkeit
  • Gültigkeit
  • Eindeutigkeit
  • Aktualität
  • Integrität
  • Konsistenz
  • usw.

Ein Streudiagramm mit einem Cluster und einem Ausreißer,

1 https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50
Einführung in Data Quality mit Great Expectations

Warum ist Datenqualität wichtig?

Müll geht hinein.

Ein tolles Modell erhält Müll als Input.

Müll kommt heraus.

Ein Modell ist nur so gut wie seine Eingabedaten!

Einführung in Data Quality mit Great Expectations

Was ist Great Expectations?

Great-Expectations-Logo.

Great Expectations (GX) – Plattform zum Managen von Datenqualität

  • GX Cloud – webbasierte UI
  • GX Core – Python-Paket
Einführung in Data Quality mit Great Expectations

Expectations

Expectation – überprüfbare Aussage über Daten

  • Datensatzform
  • Nullwerte
  • Duplikate
  • Wertemengen/-bereiche
  • String-Formatierung
  • Datenverteilungen
  • Datenqualitätsprobleme
  • usw.

images-1.png

1 https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html
Einführung in Data Quality mit Great Expectations

Data Contexts

Data Context – der zentrale Einstiegspunkt für eine GX-Installation

  • Konfigurationen und Methoden für alle GX-Komponenten
    • Data Sources
    • Expectation Suites
    • Checkpoints
    • Data Docs
    • Validation Results
    • Metrics
1 https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/
Einführung in Data Quality mit Great Expectations

GX importieren

Great Expectations mit dem Alias gx importieren:

import great_expectations as gx
Einführung in Data Quality mit Great Expectations

Einen Data Context erstellen

Mit get_context() den Data Context erstellen:

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }
Einführung in Data Quality mit Great Expectations

Lass uns üben!

Einführung in Data Quality mit Great Expectations

Preparing Video For Download...