Werken met ongestructureerde data

Snowflake-architectuur

Emily Melhuish

Technical Curriculum Developer, Snowflake

Verder dan tabellen

Wolk met bestanden zoals pdf’s, afbeeldingen en audio

Snowflake-architectuur

Stages: landingszone voor bestanden

Weergave van interne + externe stage

  • Intern: beheerd door Snowflake
  • Extern: bestanden in de cloud

  • ongestructureerde data staat in een stage

Snowflake-architectuur

Directorytabellen

directory_table_top.png

Snowflake-architectuur

Syntaxis van directorytabellen

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Directory-metadata verversen (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Snowflake-architectuur

Directorytabellen

directory_table_final.png

Snowflake-architectuur

Een directorytabel bevragen

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Bestanden in de stage auditen
  • Verouderde bestanden vinden
  • Input voor vervolgprocessen
Snowflake-architectuur

Pre-signed URL’s

  • Externe partners en apps hebben geen toegang tot een stage
  • Snowflake kan URL of credentials geven: Stage-URL’s, scoped file URL’s, pre-signed URL’s en helpers

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);
  • Je geeft stage, bestandspad en levensduur (s) mee

  • Handig voor partners zonder Snowflake-login

Snowflake-architectuur

Laten we oefenen!

Snowflake-architectuur

Preparing Video For Download...