Praca z danymi niestrukturalnymi

Architektura Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Poza tabelami

Chmura zawierająca pliki takie jak PDF, obrazy i audio

Architektura Snowflake

Stage: strefa lądowania dla plików

Reprezentacja wewnętrznego i zewnętrznego stage

  • Wewnętrzny: zarządzany przez Snowflake
  • Zewnętrzny: pliki w chmurze

  • dane niestrukturalne przechowywane są w stage

Architektura Snowflake

Tabele katalogowe

directory_table_top.png

Architektura Snowflake

Składnia tabel katalogowych

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Odświeżanie metadanych katalogu (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Architektura Snowflake

Tabele katalogowe

directory_table_final.png

Architektura Snowflake

Zapytania do tabeli katalogowej

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Audyt plików w stage
  • Identyfikacja przestarzałych plików
  • Zasilanie procesów downstream
Architektura Snowflake

URL z podpisem

  • Zewnętrzni partnerzy i aplikacje nie mają dostępu do stage
  • Snowflake może udostępnić URL lub dane uwierzytelniające: URL stage, URL o ograniczonym zakresie, URL z podpisem i powiązane funkcje pomocnicze

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);
  • Przekazuje się stage, ścieżkę pliku i czas życia w sekundach

  • Przydatne dla partnerów bez kont Snowflake

Architektura Snowflake

Czas na ćwiczenia!

Architektura Snowflake

Preparing Video For Download...