Ingesting dat v BigQuery

Introduction to BigQuery

Matt Forrest

Field CTO

Metody načítání dat

  1. Načítání dat v BigQuery Studio
  2. Použití nástrojů příkazového řádku bq
  3. Použití příkazu LOAD DATA v SQL
Introduction to BigQuery

Použití BigQuery Studio

Rozhraní pro načítání dat v BigQuery

Introduction to BigQuery

Použití BigQuery Studio

Rozhraní pro načítání dat v BigQuery

Introduction to BigQuery

Použití BigQuery Studio

Rozhraní pro načítání dat v BigQuery

Introduction to BigQuery

Použití nástrojů příkazového řádku bq

Příklad použití příkazového řádku bq

bq load \
    dataset.table \

gs://mybucket/mydata.csv \
--source_format=CSV \ --autodetect
1 https://cloud.google.com/bigquery/docs/bq-command-line-tool#loading_data
Introduction to BigQuery

Použití LOAD DATA v SQL

Příklad příkazu LOAD DATA:

LOAD DATA INTO dataset.table

FROM FILES( uris = ['gs://mybucket/mydata.csv']
format='CSV', skip_leading_rows=1 )
Introduction to BigQuery

Aspekty ingesting dat

Použití LOAD DATA

  1. Lokální data nelze použít.
  2. Platí limity pro načítání dat.

Použití bq a BigQuery Studio

  1. Lokální data lze použít, soubory musí být menší než 100 MB.
  2. Platí limity pro načítání dat.
1 https://cloud.google.com/bigquery/quotas#load_jobs
Introduction to BigQuery

Pojďme procvičovat!

Introduction to BigQuery

Preparing Video For Download...