Ingestion des données

Introduction à Databricks SQL

Kevin Barlow

Data Manager

Motivation

Schéma du flux Lakehouse

Introduction à Databricks SQL

Créer le lakehouse

Schéma du flux Lakehouse - Ingestion

Introduction à Databricks SQL

Options via l’interface graphique

Lakeflow Connect

  • Connecteurs intégrés pour ingérer des données
    • Bases de données
    • Applications SaaS
  • Crée des pipelines pour garder les données à jour

Lakeflow Connect

Téléversement de données

  • Téléversez vos fichiers manuellement
    • CSV, Parquet, etc.
  • Créez rapidement de nouvelles tables Delta
  • Idéal pour des ajouts ad hoc

Téléversement manuel de données

Introduction à Databricks SQL

Importer des données dans le lakehouse

COPY INTO

  • Copiez des données depuis le stockage objet cloud directement dans des tables Delta
  • Mieux pour des jeux de données plus statiques
  • Exécutable nativement dans le SQL Editor
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • Ingère automatiquement les nouveaux fichiers depuis le stockage cloud
  • Mieux pour des jeux de données volumineux et évolutifs
  • S’appuie sur Delta Live Tables en SQL
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Introduction à Databricks SQL

Passons à la pratique !

Introduction à Databricks SQL

Preparing Video For Download...