Kỹ thuật nâng cao cho cơ sở dữ liệu hướng cột

Giới thiệu về NoSQL

Jake Roach

Data Engineer

Vi phân vùng dữ liệu với Snowflake

Vi phân vùng (Micro-partitioning):

  • Tạo các “khối” hàng nhỏ, lưu theo định dạng cột
  • Lưu siêu dữ liệu cho từng phân vùng

$$

Cho phép:

  • Query pruning để giảm dữ liệu được truy cập
  • Thực thi DML (data manipulation language) hiệu quả
1 https://docs.snowflake.com/en/user-guide/tables-clustering-micropartitions
Giới thiệu về NoSQL

Vi phân vùng dữ liệu

Nhiều bảng Snowflake, dữ liệu trước và sau khi vi phân vùng.

Giới thiệu về NoSQL

Phân cụm dữ liệu với Snowflake

Phân cụm dữ liệu (Data clustering):

  • Sắp xếp/nhóm các điểm dữ liệu tương tự
  • Tự động thực hiện khi nạp dữ liệu

$$

Cho phép:

  • Giảm dữ liệu truy cập khi thực thi
  • Cải thiện hiệu năng truy vấn
1 https://docs.snowflake.com/en/user-guide/tables-clustering-micropartitions
Giới thiệu về NoSQL

Phân cụm dữ liệu

Các bảng Snowflake trước và sau khi phân cụm.

Giới thiệu về NoSQL

Query pruning

SELECT
    title,
    author,
    price
FROM books
WHERE
    price > 25.00;

Vi phân vùng nhỏ và phân cụm dữ liệu cho phép:

  • Giảm dữ liệu phải quét
  • Rút ngắn thời gian ra insight

Bảng Snowflake với vi phân vùng và phân cụm, tận dụng query pruning.

Giới thiệu về NoSQL

Ayo berlatih!

Giới thiệu về NoSQL

Preparing Video For Download...