Arbeiten mit unstrukturierten Daten

Snowflake-Architektur

Emily Melhuish

Technical Curriculum Developer, Snowflake

Jenseits von Tabellen

Cloud mit Dateien wie PDFs, Bildern und Audio

Snowflake-Architektur

Stages: die Ablagezone für Dateien

Darstellung von internem + externem Stage

  • Intern: Von Snowflake verwaltet

  • Extern: Dateien in der Cloud

  • Unstrukturierte Daten liegen in einem Stage

Snowflake-Architektur

Directory-Tabellen

directory_table_top.png

Snowflake-Architektur

Syntax für Directory-Tabellen

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Directory-Metadaten aktualisieren (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Snowflake-Architektur

Directory-Tabellen

directory_table_final.png

Snowflake-Architektur

Eine Directory-Tabelle abfragen

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Dateien im Stage prüfen
  • Veraltete Dateien finden
  • Downstream-Prozesse speisen
Snowflake-Architektur

Pre-Signed URLs

  • Externe Partner und Apps können nicht direkt auf ein Stage zugreifen
  • Snowflake kann URL oder Anmeldedaten bereitstellen: Stage-URLs, Scoped File URLs, Pre-Signed URLs und zugehörige Helfer

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);

  • Du übergibst Stage, Dateipfad und Lebensdauer (Sekunden)

  • Nützlich für Partner ohne Snowflake-Login

Snowflake-Architektur

Lass uns üben!

Snowflake-Architektur

Preparing Video For Download...