Ingestion de données dans BigQuery

Introduction à BigQuery

Matt Forrest

Field CTO

Méthodes de chargement des données

  1. Chargement dans BigQuery Studio
  2. Outils en ligne de commande bq
  3. Commande SQL LOAD DATA
Introduction à BigQuery

Utiliser BigQuery Studio

Interface de chargement des données dans BigQuery

Introduction à BigQuery

Utiliser BigQuery Studio

Interface de chargement des données dans BigQuery

Introduction à BigQuery

Utiliser BigQuery Studio

Interface de chargement des données dans BigQuery

Introduction à BigQuery

Utiliser les outils en ligne de commande bq

Exemple avec la ligne de commande bq

bq load \
    dataset.table \

    gs://mybucket/mydata.csv \

    --source_format=CSV \ 
    --autodetect
1 https://cloud.google.com/bigquery/docs/bq-command-line-tool#loading_data
Introduction à BigQuery

Utiliser LOAD DATA en SQL

Exemple d'instruction LOAD DATA :

LOAD DATA INTO dataset.table

  FROM FILES(
    uris = ['gs://mybucket/mydata.csv']

    format='CSV',
    skip_leading_rows=1
  )
Introduction à BigQuery

Points à considérer pour l'ingestion des données

Utiliser LOAD DATA

  1. Impossible d'utiliser des données locales.
  2. Soumis aux limites de chargement.

Utiliser bq et BigQuery Studio

  1. Les données locales sont permises, mais les fichiers doivent faire moins de 100 Mo.
  2. Soumis aux limites de chargement.
1 https://cloud.google.com/bigquery/quotas#load_jobs
Introduction à BigQuery

Passons à la pratique !

Introduction à BigQuery

Preparing Video For Download...