Afronding
Kennismaking met Datakwaliteit met Great Expectations
Davina Moossazadeh
Data Scientist
Hoofdstuk 1: Verbinden met data
Maak een data context
context = gx.get_context()
Hoofdstuk 1: Verbinden met data
Verbind met data
Data Source maken vanuit data context:
data_source = context.data_sources.add_pandas(
name: str
)
Data Asset maken vanuit Data Source:
data_asset = data_source.add_dataframe_asset(
name: str
)
Hoofdstuk 1: Verbinden met data
Lees data in batches
Batch Definition maken vanuit Data Asset:
batch_definition = data_asset. \
add_batch_definition_whole_dataframe(
name: str
)
Batch maken vanuit Batch Definition:
batch = batch_definition.get_batch(
batch_parameters={"dataframe": dataframe}
)
$$
Rijen van Batch-DataFrame ophalen:
batch.head(fetch_all: bool)
Kolomlijst van Batch-DataFrame ophalen:
batch.columns()
Hoofdstuk 2: Verwachtingen opstellen
Maak verwachtingen
Een Expectation maken:
gx.expectations.Expect...(...)
Een rijteller-Expectation maken:
expectation = gx.expectations. \
ExpectTableRowCountToEqual(
value: int
)
$$
Expectation valideren:
validation_results = batch.validate(
expect=expectation
)
Validatieresultaten controleren:
validation_results.describe()
validation_results.success
validation_results.result
Hoofdstuk 2: Verwachtingen opstellen
Schema-verwachtingen
Vorm-verwachtingen:
ExpectTableRowCountToEqual(value: int)
ExpectTableRowCountToBeBetween(
min_value: int, max_value: int
)
ExpectTableColumnCountToEqual(
value: int
)
ExpectTableColumnCountToBeBetween(
min_value: int, max_value: int
)
$$
Kolomnaam-verwachtingen:
ExpectTableColumnsToMatchSet(
column_set: set
)
ExpectColumnToExist(column: str)
Hoofdstuk 2: Verwachtingen opstellen
Maak een suite met verwachtingen
Expectationsuite maken:
suite = gx.ExpectationSuite(name: str)
Verwachting toevoegen aan suite:
suite.add_expectation(expectation)
Verwachtingen van suite bekijken:
suite.expectations
$$
Suite valideren:
validation_results = batch.validate(
expect=suite
)
Validatieresultaten controleren:
validation_results.success
validation_results.describe()
Hoofdstuk 2: Verwachtingen opstellen
Expectation-suites valideren
Expectation-suite toevoegen aan data context:
context.suites.add(suite)
Validation Definition maken:
validation_definition = \
gx.ValidationDefinition(
name: str,
data=batch_definition,
suite=suite
)
$$
Validatie uitvoeren:
validation_results = \
validation_definition.run(
batch_parameters={"dataframe": dataframe}
)
Validatieresultaten controleren:
validation_results.success
validation_results.describe()
Hoofdstuk 3: GX in de praktijk
Validation Definitions deployen
Validation Definition toevoegen aan data context:
context.validation_definitions.add(
validation_definition
)
Checkpoint maken:
checkpoint = gx.Checkpoint(
name: str,
validation_definitions: list,
)
$$
Checkpoint draaien:
checkpoint_results = checkpoint.run(
batch_parameters={
"dataframe": dataframe
}
)
Checkpointresultaten controleren:
checkpoint_results.success
Hoofdstuk 3: GX in de praktijk
Expectation-suites bijwerken
Verwachting kopiëren:
expectation_copy = expectation.copy()
expectation_copy.id = None
Controleren of verwachting in suite staat:
expectation in suite.expectations
Verwachting verwijderen:
suite.delete_expectation(expectation)
$$
Waarde van verwachting updaten:
expectation.value = new_value
Wijzigingen in verwachting opslaan:
expectation.save()
Wijzigingen in expectationsuite opslaan:
suite.save()
Hoofdstuk 3: GX in de praktijk
Componenten beheren
Component toevoegen aan data context:
context.data_sources.add(data_source)
context.suites.add(suite)
context.validation_definitions.add(
validation_definition
)
context.checkpoints.add(checkpoint)
$$
Component ophalen:
.get(name: str)
Componenten lijst:
.all()
Component verwijderen:
.delete(name: str)
Hoofdstuk 4: Alles over Expectations
Basisverwachtingen per kolom
Rij-niveau verwachtingen:
ExpectColumnValuesToNotBeNull(
column: str
)
ExpectColumnValuesToBeOfType(
column: str, type_: str
)
$$
Aggregaat-niveau verwachtingen:
ExpectColumnDistinctValuesToEqualSet(
column: str, value_set: set
)
ExpectColumnUniqueValueCountToBeBetween(
column: str,
min_value: int, max_value: int
)
ExpectColumnValuesToBeUnique(column: str)
ExpectColumnMostCommonValueToBeInSet(
column: str, value_set: set
)
Hoofdstuk 4: Alles over Expectations
Typespecifieke verwachtingen
Numerieke verwachtingen:
ExpectColumn<METRIC>ToBeBetween(
column: str, min_value: int, max_value: int
)
# <METRIC> in
# {"Mean", "Median", "Stdev", "Sum"}
ExpectColumnValuesToBeBetween(
column: str, min_value: int, max_value: int
)
ExpectColumnValuesToBeIncreasing(column: str)
ExpectColumnValuesToBeDecreasing(column: str)
$$
String-verwachtingen:
ExpectColumnValueLengthsToEqual(
column: str, value: int
)
ExpectColumnValuesToMatchRegex(
column: str, regex: str
)
ExpectColumnValuesToMatchRegexList(
column: str, regex_list: list
)
ExpectColumnValuesToBe{Dateutil,Json}Parseable(
column: str
)
Hoofdstuk 4: Alles over Expectations
Voorwaardelijke verwachtingen
expectation = gx.expectations.Expect...(
expetation_parameters,
...,
condition_parser='pandas',
row_condition: str,
)
Slotwoorden
Gefeliciteerd!
Kennismaking met Datakwaliteit met Great Expectations
