Yapılandırılmış ve Yarı Yapılandırılmış Verileri Yükleme

Snowflake Mimarisi

Emily Melhuish

Technical Curriculum Developer, Snowflake

Yükleme İş Akışı

Dosyaların aşamaya girip sonra Snowflake’e yüklendiğini gösteren Yükleme İş Akışı

Dosyalar Stage’e iner, yüklemek için COPY INTO çalıştırılır

Stage nedir?

Stage = geçici depolama konumu

Snowflake’ten Stage nedir diyagramı

Dahili Stage Oluşturma

CREATE STAGE snowy_peak_stage;

Harici Stage Oluşturma

CREATE STAGE my_s3_stage
  STORAGE_INTEGRATION = s3_int
  URL = 's3://snowy-peak-data/raw/';

Snowflake’e veri yükleme

COPY INTO

Stage’den toplu yükleme
Yapılandırılmış ve yarı yapılandırılmış veri
Ölçeklenebilir

INSERT

Az sayıda satır için, staging olmadan idealdir
Tek seferlik eklemeler veya küçük değişiklikler

Snowsight UI

Teknik olmayan kullanıcılar ve hızlı tek seferlik işler

LIST ile Stage’i İnceleme

COPY INTO ile Yapılandırılmış Veri Yükleme

Sorgu

CREATE OR REPLACE FILE FORMAT csv_format
  TYPE = CSV
  SKIP_HEADER = 1;

COPY INTO orders
FROM @snowy_peak_stage/orders.csv
FILE_FORMAT = (FORMAT_NAME = csv_format);

Yarı Yapılandırılmış Verileri Yükleme ve Sorgulama

Yükleme

JSON, Snowflake’in VARIANT adlı özel sütun türüne yüklenir.

CREATE TABLE events (raw_event VARIANT);

COPY INTO events
FROM @snowy_peak_stage/events.json
FILE_FORMAT = (TYPE = JSON);

Sorgulama

JSON yapısında gezinmek için iki nokta gösterimini kullanın,

SELECT 
raw_event:user_id::STRING AS user_id,
raw_event:event_type::STRING 
AS event_type
FROM events;

Arayüz ile Yükleme

Snowflake arayüzü ekran görüntüsü

Hadi pratik yapalım!

Snowflake Mimarisi