Esportazione dati e connettività

Automazione delle pipeline di dati in Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Il caso d’uso di export

Esportare dati su cloud storage

Non tutti i partner hanno accesso a Snowflake
COPY INTO scrive i risultati direttamente su uno stage

Nessuna pipeline di export separata necessaria

COPY INTO @harbr_partner_export/
daily_summary/
FROM (SELECT * FROM 
logistics.shipment_summary
WHERE export_date = 
CURRENT_DATE() - 1);

mermaid: snowflake scarica su storage del partner

COPY INTO

COPY INTO @harbr_partner_export/shipment_summary/
FROM (
  SELECT shipment_id,
         origin,
         destination,
         delivery_status,
         delivery_time_hours
  FROM logistics.shipments
  WHERE delivery_date = CURRENT_DATE()
)
FILE_FORMAT = (TYPE = 'CSV' HEADER = TRUE)
OVERWRITE = TRUE;

Opzioni formato file di export

Formato	Ideale per
CSV	Universale: quasi tutti lo leggono; ideale per export ai partner
JSON	Conserva strutture annidate; utile per consumatori semi-strutturati
Parquet	Grandi dataset analitici; compressione colonnare = file più piccoli, letture più rapide

Opzioni chiave di export

-- Dividi grandi export su più file (byte)
HEADER = TRUE              -- include i nomi colonne nella prima riga
OVERWRITE = TRUE           -- sostituisce file esistenti in quel percorso
MAX_FILE_SIZE = 104857600  -- 100 MB per file di output

Il panorama della connettività

Il panorama della connettività dei connettori

Connettori Kafka e Spark

Connettore Kafka

I topic fluiscono direttamente nelle tabelle Snowflake
Niente file né stage — usa Snowpipe Streaming
Latenza di pochi secondi

# connector.properties (Kafka settings)
snowflake.topic2table.map=events:
delivery_events
snowflake.ingestion.method=
SNOWPIPE_STREAMING

Connettore Spark

Si integra con la DataFrame API di Spark
I job Spark leggono e scrivono su Snowflake
Gestisce trasformazioni su larga scala

// Read from Snowflake into a Spark DataFrame
val df = spark.read.format("snowflake")
  .options(sfOptions).option("dbtable", 
    "shipments").load()

Integrazioni JDBC/ODBC e partner

Connettività universale

Integrazione	Tipo	Uso in Harbr
JDBC / ODBC	Driver universali	Strumenti BI (Tableau, Power BI, Looker) - query dirette
Python Connector	Driver Python nativo	Pipeline dati, ETL schedulati, workflow data science
dbt	Trasformazioni SQL	Esegue i modelli direttamente su Snowflake compute
Fivetran / Airbyte	Ingestion gestita	Sorgenti SaaS → Snowflake, senza codice custom

Ayo berlatih!

Automazione delle pipeline di dati in Snowflake