Conectare la date

Introducere în calitatea datelor cu Great Expectations

Davina Moossazadeh

Data Scientist

Componente

Componente GX - Clase Python ce reprezintă entități de date și validare

  • Data Context ✅
  • Data Sources & Data Assets (✔)
  • Batch Definitions & Batches ☐
  • Expectations ☐
  • Expectation Suites ☐
  • Validation Definitions ☐
  • Checkpoints & Actions ☐
  • Data Docs ☐
1 https://docs.greatexpectations.io/docs/core/introduction/gx_overview
Introducere în calitatea datelor cu Great Expectations

Surse de date

Sursă de date - Un obiect care indică GX cum să se conecteze la o sursă externă de date

Logo SQL.

Logo Spark.

Logo Pandas.

1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Introducere în calitatea datelor cu Great Expectations

Surse de date

Sursă de date - Un obiect care indică GX cum să se conecteze la o sursă externă de date

Logo SQL.

Logo Spark.

Logo Pandas -- evidențiat cu un chenar.

1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Introducere în calitatea datelor cu Great Expectations

Crearea unei surse de date

Gestionați sursele de date cu atributul .data_sources, folosind metoda .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Notă: Parametrul name din GX este diferit de numele variabilei Python

  • Pot fi valori diferite, ex.: "my_pandas_datasource" vs. data_source
1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Introducere în calitatea datelor cu Great Expectations

Asseturi de date

Asset de date - O colecție de înregistrări dintr-o sursă de date

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)
1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Introducere în calitatea datelor cu Great Expectations

Fișă de referință

Creați o sursă de date din contextul de date:

data_source = context.data_sources.add_pandas(
    name: str
)

Creați un asset de date din sursa de date:

data_asset = data_source.add_dataframe_asset(
    name: str
)
Introducere în calitatea datelor cu Great Expectations

Să exersăm!

Introducere în calitatea datelor cu Great Expectations

Preparing Video For Download...