Làm việc với dữ liệu phi cấu trúc

Kiến trúc Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Vượt ra ngoài bảng

Đám mây chứa các tệp như pdf, ảnh và âm thanh

Kiến trúc Snowflake

Stage: Vùng tiếp nhận tệp

Biểu diễn stage nội bộ + bên ngoài

  • Nội bộ: Do Snowflake quản lý

  • Bên ngoài: Tệp trên Cloud

  • Dữ liệu phi cấu trúc nằm trong stage

Kiến trúc Snowflake

Bảng thư mục

directory_table_top.png

Kiến trúc Snowflake

Cú pháp bảng thư mục

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

Làm mới siêu dữ liệu thư mục (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Kiến trúc Snowflake

Bảng thư mục

bảng thư mục cuối cùng

Kiến trúc Snowflake

Truy vấn một bảng thư mục

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • Kiểm toán tệp trong stage
  • Xác định tệp lỗi thời
  • Cấp dữ liệu cho quy trình hạ nguồn
Kiến trúc Snowflake

Pre-signed URL

  • Đối tác và ứng dụng bên ngoài không thể truy cập stage
  • Snowflake có thể cung cấp URL hoặc thông tin xác thực: Stage URL, scoped file URL, pre-signed URL và trợ năng liên quan

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);

  • Truyền stage, đường dẫn tệp và thời hạn (giây)

  • Hữu ích cho đối tác không có đăng nhập Snowflake

Kiến trúc Snowflake

Ayo berlatih!

Kiến trúc Snowflake

Preparing Video For Download...