Stages, formats de fichier et COPY INTO

Automatisation des pipelines de données dans Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Snowflake alimente de nombreux workloads

Capture d’écran du 2026-05-11 à 11.52.34 am.png

¹ * Documentation d’apprentissage Snowflake

Capture d’écran du 2026-05-11 à 10.48.51 am.png

¹ * Documentation d’apprentissage Snowflake

Faux logo pour Harbr

À propos de Harbr

Plateforme mondiale de logistique et chaîne d’approvisionnement
Utilise Snowflake pour suivre les envois, l’inventaire d’entrepôt et la performance de livraison
Ingestion de données des systèmes fournisseurs dans plusieurs régions

Schéma de chargement des données

Stage = emplacement de stockage temporaire

Deux types de stages

Stages internes

Stage externe

Table d’annuaire

CREATE STAGE harbr_stage
  DIRECTORY = (ENABLE = TRUE)

Chiffrement des stages internes

ENCRYPTION = (TYPE = SNOWFLAKE_FULL)
ENCRYPTION = (TYPE = SNOWFLAKE_SSE)

Chiffrement des stages externes

ENCRYPTION = 
([ TYPE = 'AWS_CSE' ] MASTER_KEY = '') 

ENCRYPTION = 
([ TYPE = 'AWS_SSE_S3' ]) 

...

Formats structurés : CSV avec délimiteurs, en-têtes, guillemets
Semi-structurés : JSON, Parquet, Avro, ORC et XML
- Charger directement dans une colonne VARIANT
- Définir une fois les règles d’analyse, réutiliser pour tous les chargements
Mettre à jour l’objet de format une seule fois

SQL

CREATE FILE FORMAT harbr_csv_format
  TYPE = 'CSV'
  FIELD_DELIMITER = ','
  SKIP_HEADER = 1;

Charger depuis un stage nommé avec un format nommé

COPY INTO logistics.shipments
FROM @harbr_internal_stage/shipments/
FILE_FORMAT = (FORMAT_NAME = 'harbr_csv_format')

Options ON_ERROR	Comportement
`ABORT_STATEMENT`	Échec complet au premier message d’erreur (par défaut)
`CONTINUE`	Ignorer les lignes erronées, charger le reste
`SKIP_FILE`	Ignorer tout le fichier s’il contient des erreurs
`SKIP_FILE_<num>`	Ignorer le fichier si les erreurs dépassent un nombre donné
`SKIP_FILE_<num>%`	Ignorer le fichier si les erreurs dépassent un seuil en %

Valider sans charger = simulation

COPY INTO logistics.shipments
FROM @harbr_internal_stage/shipments/
FILE_FORMAT = (FORMAT_NAME = 'harbr_csv_format')
VALIDATION_MODE = RETURN_ERRORS;

Consulter l’historique des chargements

SELECT * FROM TABLE(INFORMATION_SCHEMA.COPY_HISTORY(
  TABLE_NAME => 'shipments',
  START_TIME => DATEADD('hour', -24,
    CURRENT_TIMESTAMP())));

Automatisation des pipelines de données dans Snowflake