Ingestia datelor în BigQuery

Introducere în BigQuery

Matt Forrest

Field CTO

Metode de încărcare a datelor

  1. Încărcarea datelor în BigQuery Studio
  2. Utilizarea instrumentelor de linie de comandă bq
  3. Utilizarea comenzii LOAD DATA în SQL
Introducere în BigQuery

Utilizarea BigQuery Studio

Interfață de încărcare a datelor în BigQuery

Introducere în BigQuery

Utilizarea BigQuery Studio

Interfață de încărcare a datelor în BigQuery

Introducere în BigQuery

Utilizarea BigQuery Studio

Interfață de încărcare a datelor în BigQuery

Introducere în BigQuery

Utilizarea instrumentelor de linie de comandă bq

Exemplu cu linia de comandă bq

bq load \
    dataset.table \

    gs://mybucket/mydata.csv \

    --source_format=CSV \ 
    --autodetect
1 https://cloud.google.com/bigquery/docs/bq-command-line-tool#loading_data
Introducere în BigQuery

Utilizarea LOAD DATA în SQL

Exemplu de instrucțiune LOAD DATA:

LOAD DATA INTO dataset.table

  FROM FILES(
    uris = ['gs://mybucket/mydata.csv']

    format='CSV',
    skip_leading_rows=1
  )
Introducere în BigQuery

Considerații privind ingestia datelor

Utilizarea LOAD DATA

  1. Nu se pot folosi date locale.
  2. Supus limitelor de încărcare.

Utilizarea bq și BigQuery Studio

  1. Datele locale sunt acceptate, dar fișierele trebuie să fie sub 100 MB.
  2. Supus limitelor de încărcare.
1 https://cloud.google.com/bigquery/quotas#load_jobs
Introducere în BigQuery

Să exersăm!

Introducere în BigQuery

Preparing Video For Download...