Pozyskiwanie danych w BigQuery

Wprowadzenie do BigQuery

Matt Forrest

Field CTO

Metody ładowania danych

  1. Ładowanie danych w BigQuery Studio
  2. Użycie narzędzi wiersza poleceń bq
  3. Użycie polecenia LOAD DATA w SQL
Wprowadzenie do BigQuery

Użycie BigQuery Studio

Interfejs ładowania danych w BigQuery

Wprowadzenie do BigQuery

Użycie BigQuery Studio

Interfejs ładowania danych w BigQuery

Wprowadzenie do BigQuery

Użycie BigQuery Studio

Interfejs ładowania danych w BigQuery

Wprowadzenie do BigQuery

Użycie narzędzi wiersza poleceń bq

Przykład użycia wiersza poleceń bq

bq load \
    dataset.table \

gs://mybucket/mydata.csv \
--source_format=CSV \ --autodetect
1 https://cloud.google.com/bigquery/docs/bq-command-line-tool#loading_data
Wprowadzenie do BigQuery

Użycie LOAD DATA w SQL

Przykład instrukcji LOAD DATA:

LOAD DATA INTO dataset.table

FROM FILES( uris = ['gs://mybucket/mydata.csv']
format='CSV', skip_leading_rows=1 )
Wprowadzenie do BigQuery

Uwagi dotyczące pozyskiwania danych

Użycie LOAD DATA

  1. Dane lokalne nie są obsługiwane.
  2. Obowiązują limity ładowania danych.

Użycie bq i BigQuery Studio

  1. Dane lokalne są obsługiwane, ale pliki muszą mieć mniej niż 100 MB.
  2. Obowiązują limity ładowania danych.
1 https://cloud.google.com/bigquery/quotas#load_jobs
Wprowadzenie do BigQuery

Czas na ćwiczenia!

Wprowadzenie do BigQuery

Preparing Video For Download...