Zusammenfassung
Einführung in Data Quality mit Great Expectations
Davina Moossazadeh
Data Scientist
Kapitel 1: Mit Daten verbinden
Data Context erstellen
context = gx.get_context()
Kapitel 1: Mit Daten verbinden
Mit Daten verbinden
Data Source aus Data Context erstellen:
data_source = context.data_sources.add_pandas(
name: str
)
Data Asset aus Data Source erstellen:
data_asset = data_source.add_dataframe_asset(
name: str
)
Kapitel 1: Mit Daten verbinden
Daten in Batches lesen
Batch Definition aus Data Asset erstellen:
batch_definition = data_asset. \
add_batch_definition_whole_dataframe(
name: str
)
Batch aus Batch Definition erstellen:
batch = batch_definition.get_batch(
batch_parameters={"dataframe": dataframe}
)
$$
Batch-DataFrame-Zeilen abrufen:
batch.head(fetch_all: bool)
Batch-DataFrame-Spaltenliste abrufen:
batch.columns()
Kapitel 2: Erwartungen definieren
Erwartungen erstellen
Eine Erwartung erstellen:
gx.expectations.Expect...(...)
Erwartung für Zeilenanzahl erstellen:
expectation = gx.expectations. \
ExpectTableRowCountToEqual(
value: int
)
$$
Erwartung validieren:
validation_results = batch.validate(
expect=expectation
)
Validierung prüfen:
validation_results.describe()
validation_results.success
validation_results.result
Kapitel 2: Erwartungen definieren
Schema-Erwartungen
Form-Erwartungen:
ExpectTableRowCountToEqual(value: int)
ExpectTableRowCountToBeBetween(
min_value: int, max_value: int
)
ExpectTableColumnCountToEqual(
value: int
)
ExpectTableColumnCountToBeBetween(
min_value: int, max_value: int
)
$$
Spaltennamen-Erwartungen:
ExpectTableColumnsToMatchSet(
column_set: set
)
ExpectColumnToExist(column: str)
Kapitel 2: Erwartungen definieren
Eine Suite von Erwartungen erstellen
Expectation Suite erstellen:
suite = gx.ExpectationSuite(name: str)
Erwartung zur Suite hinzufügen:
suite.add_expectation(expectation)
Erwartungen der Suite abrufen:
suite.expectations
$$
Expectation Suite validieren:
validation_results = batch.validate(
expect=suite
)
Validierung prüfen:
validation_results.success
validation_results.describe()
Kapitel 2: Erwartungen definieren
Expectation Suites validieren
Expectation Suite zum Data Context hinzufügen:
context.suites.add(suite)
Validation Definition erstellen:
validation_definition = \
gx.ValidationDefinition(
name: str,
data=batch_definition,
suite=suite
)
$$
Validierung ausführen:
validation_results = \
validation_definition.run(
batch_parameters={"dataframe": dataframe}
)
Validierung prüfen:
validation_results.success
validation_results.describe()
Kapitel 3: GX in der Praxis
Validation Definitions bereitstellen
Validation Definition zum Data Context hinzufügen:
context.validation_definitions.add(
validation_definition
)
Checkpoint erstellen:
checkpoint = gx.Checkpoint(
name: str,
validation_definitions: list,
)
$$
Checkpoint ausführen:
checkpoint_results = checkpoint.run(
batch_parameters={
"dataframe": dataframe
}
)
Checkpoint-Ergebnis prüfen:
checkpoint_results.success
Kapitel 3: GX in der Praxis
Expectation Suites aktualisieren
Erwartung kopieren:
expectation_copy = expectation.copy()
expectation_copy.id = None
Prüfen, ob Erwartung in Suite ist:
expectation in suite.expectations
Erwartung löschen:
suite.delete_expectation(expectation)
$$
Erwartungswert aktualisieren:
expectation.value = new_value
Änderungen an Erwartung speichern:
expectation.save()
Änderungen an Suite speichern:
suite.save()
Kapitel 3: GX in der Praxis
Komponenten verwalten
Komponente zum Data Context hinzufügen:
context.data_sources.add(data_source)
context.suites.add(suite)
context.validation_definitions.add(
validation_definition
)
context.checkpoints.add(checkpoint)
$$
Komponente abrufen:
.get(name: str)
Komponenten auflisten:
.all()
Komponente löschen:
.delete(name: str)
Kapitel 4: Alles über Expectations
Grundlegende Spalten-Erwartungen
Zeilenbezogene Erwartungen:
ExpectColumnValuesToNotBeNull(
column: str
)
ExpectColumnValuesToBeOfType(
column: str, type_: str
)
$$
Aggregat-Erwartungen:
ExpectColumnDistinctValuesToEqualSet(
column: str, value_set: set
)
ExpectColumnUniqueValueCountToBeBetween(
column: str,
min_value: int, max_value: int
)
ExpectColumnValuesToBeUnique(column: str)
ExpectColumnMostCommonValueToBeInSet(
column: str, value_set: set
)
Kapitel 4: Alles über Expectations
Typspezifische Erwartungen
Numerische Erwartungen:
ExpectColumn<METRIC>ToBeBetween(
column: str, min_value: int, max_value: int
)
# <METRIC> in
# {"Mean", "Median", "Stdev", "Sum"}
ExpectColumnValuesToBeBetween(
column: str, min_value: int, max_value: int
)
ExpectColumnValuesToBeIncreasing(column: str)
ExpectColumnValuesToBeDecreasing(column: str)
$$
String-Erwartungen:
ExpectColumnValueLengthsToEqual(
column: str, value: int
)
ExpectColumnValuesToMatchRegex(
column: str, regex: str
)
ExpectColumnValuesToMatchRegexList(
column: str, regex_list: list
)
ExpectColumnValuesToBe{Dateutil,Json}Parseable(
column: str
)
Kapitel 4: Alles über Expectations
Bedingte Erwartungen
expectation = gx.expectations.Expect...(
expetation_parameters,
...,
condition_parser='pandas',
row_condition: str,
)
Zum Schluss
Glückwunsch!
Einführung in Data Quality mit Great Expectations
