Skapa ett Data Context

Introduktion till datakvalitet med Great Expectations

Davina Moossazadeh

Data Scientist

Vad är datakvalitet?

Hur väl en datamängd lämpar sig för sitt syfte

Fullständighet
Noggrannhet
Giltighet
Unikhet
Aktualitet
Integritet
Konsistens
osv.

Ett spridningsdiagram med ett kluster av värden och ett extremvärde,

¹ https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50

Varför är datakvalitet viktigt?

Skräp som matas in.

En avancerad modell som tar emot skräp som indata.

Skräp som matas ut.

En modell kan aldrig bli bättre än de data den matas med!

Vad är Great Expectations?

Great Expectations logotyp.

Great Expectations (GX) - En plattform för hantering av datakvalitet

GX Cloud - webbaserat användargränssnitt
GX Core - Python-paket

Expectations

Expectation - Verifierbart påstående om data

Datamängdens form
Null-värden
Dubbletter
Värdemängder/intervall
Strängformatering
Datafördelningar
Datakvalitetsproblem
osv.

¹ https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html

Data Contexts

Data Context - Den primära startpunkten för en GX-driftsättning

Konfigurationer och metoder för alla stödjande GX-komponenter
- Data Sources
- Expectation Suites
- Checkpoints
- Data Docs
- Validation Results
- Metrics

¹ https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/

Importera GX

Importera Great Expectations med aliaset gx:

import great_expectations as gx

Skapa ett Data Context

Använd get_context() för att skapa Data Context:

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }

Nu kör vi en övning!

Introduktion till datakvalitet med Great Expectations