Conéctate a los datos

Introducción a la calidad de datos con Great Expectations

Davina Moossazadeh

Data Scientist

Componentes

Componentes de GX: clases de Python que representan datos y entidades de validación

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Origen de datos: objeto que indica a GX cómo conectarse a una fuente externa concreta

Logo de SQL.

Logo de Spark.

Logo de Pandas.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Origen de datos: objeto que indica a GX cómo conectarse a una fuente externa concreta

Logo de SQL.

Logo de Spark.

Logo de Pandas — con un recuadro alrededor.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Gestiona orígenes de datos con el atributo .data_sources usando .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Nota: el parámetro name en GX es distinto del nombre de la variable de Python

Puedes darles valores distintos, p. ej., "my_pandas_datasource" vs. data_source

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Activo de datos: conjunto de registros dentro de un origen de datos

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Crear origen de datos desde el Data Context:

data_source = context.data_sources.add_pandas(
    name: str
)

Crear activo de datos desde el origen:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Introducción a la calidad de datos con Great Expectations