Logboeken

Forecasting-pijplijnen ontwerpen voor productie

Rami Krispin

Senior Manager, Data Science and Engineering

Pijplijnlogs

Logging

Metadata
Validatietests
Status
Performance

Pijplijnlogs

Logging

Metadata
Validatietests
Status
Performance

Functionaliteit

Observability
Debuggen
Rolgebaseerde beslissingen

Logs instellen

Stel het log-schema in
Behandel scenario’s:
- Geen nieuwe data beschikbaar
- Resultaat validatie
Log toevoegen

Het ETL-logproces

API-taak controleren

import etl.eia_etl as ee

log = ee.Log()

facet = {'respondent': 'US48', 
         'type': 'D'}

log.create_log(facets = facets)

Log-schema

Het ETL-logproces

API-taak controleren

import etl.eia_etl as ee

log = ee.Log()

facet = {'respondent': 'US48', 
         'type': 'D'}

log.create_log(facets = facets)

Log-schema

Het ETL-logproces

API-taak controleren

import etl.eia_etl as ee

log = ee.Log()

facet = {'respondent': 'US48', 
         'type': 'D'}

log.create_log(facets = facets)

Log-schema

Het ETL-logproces

API-taak controleren

import etl.eia_etl as ee

log = ee.Log()

facet = {'respondent': 'US48', 
         'type': 'D'}

log.create_log(facets = facets)

Log-schema

Het ETL-logproces

API-taak controleren

import etl.eia_etl as ee

log = ee.Log()

facet = {'respondent': 'US48', 
         'type': 'D'}

log.create_log(facets = facets)

Log-schema

Het ETL-logproces

API-taak controleren

import etl.eia_etl as ee

log = ee.Log()

facet = {'respondent': 'US48', 
         'type': 'D'}

log.create_log(facets = facets)

Log-schema

Het ETL-logproces

API-taak controleren

import etl.eia_etl as ee

log = ee.Log()

facet = {'respondent': 'US48', 
         'type': 'D'}

log.create_log(facets = facets)

Log-schema

Het ETL-logproces

API-status taak

meta = ee.get_metadata(api_key = api_key,
api_path = api_meta_path, 
meta_path= log_path, 
facets = facets, 
offset = 22, window = 336)

API-status

Het ETL-logproces

Datastatus taak

meta = ee.get_metadata(api_key = api_key,
api_path = api_meta_path, 
meta_path= log_path, 
facets = facets, 
offset = 22, window = 336)

API-status

Het ETL-logproces

Validatietaak

if not meta.updates_available:
  log.no_updates()

API-status

Het ETL-logproces

Validatietaak

API-status

Het ETL-logproces

Data verversen-taak

get = ea.eia_get(api_key=api_key, 
    api_path= api_data_path, 
    data = "value", facets = facets, 
    start = meta.start, 
    end = meta.api_end_offset)

Data-uitvoer

Het ETL-logproces

Mislukte dataverversing-taak

log.failure()

Het ETL-logproces

Datavalidatie-taak

test = ee.Validation(data = get.data,  
tbl_name= "get request", 
label = "validation",
parameters=get.parameters,initial= False,
warning=0.10, error=0, critical=0)

schema_refresh = pb.Schema(
    columns=[
        ("index", "datetime64[ns]"),   
        ("respondent", "object"),
        ("respondent-name", "object"),
        ("type", "object"),
        ("type-name", "object"),
        ("value", "int64"),
        ("value-units", "object")
    ])

test.add_schema(schema = schema_refresh)

Het ETL-logproces

Datavalidatie-taak

Samenvatting datavalidatie

Het ETL-logproces

Mislukte validatie-taak

log.failure()

Het ETL-logproces

Data toevoegen-taak

if log.log["status"]:
  print("Appended the data")
  df = ee.AppendData()
  df.append_data(data_path = data_path, 
    new_data = get.data,save = True,
    schema = schema_append, 
    parameters = get.parameters)
  print(df.validation)
  if df.status and df.save:
    log.log["update"] = True
  else:
    log.log["update"] = False