Mikropartycje i klastrowanie danych

Architektura Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Odpytywanie dużej tabeli

Przykład: Subscription

USER_ID REGISTRATION_DATE USER_NAME
912930 2026-04-01 JANEDOE
912931 2026-04-06 JOHNDOE
912932 2026-04-12 JIMMYDOE
... ... ...

Ile danych zapytanie musi odczytać z tej tabeli?

Architektura Snowflake

Mikropartycje

Przykład mikropartycji i sposobu przechowywania danych z kolumnami razem

  • W mikropartycjach kolumny są przechowywane i kompresowane oddzielnie
  • Snowflake odczytuje tylko kolumny wymagane przez zapytanie
Architektura Snowflake

Metadane

Przykład mikropartycji z metadanymi

  • Snowflake przechowuje metadane dla każdej mikropartycji
  • Przechowywane w warstwie usług chmurowych
Architektura Snowflake

Przycinanie partycji

Przykład przycinania partycji

Architektura Snowflake

Przycinanie partycji

Przykład przycinania partycji z zaznaczoną opcją

  • Snowflake pomija mikropartycje, które na pewno nie zawierają szukanych danych.
  • Odczytuje tylko istotne fragmenty = przycinanie partycji
Architektura Snowflake

Klastrowanie

Przykład mikropartycji i sposobu przechowywania danych z kolumnami razem

  • Zapytania oparte na datach często dobrze przycinają (np. szeregi czasowe)

  • Przycinanie nie jest skuteczne dla wartości rozproszonych w wielu partycjach (np. region)

  • Klucz klastrowania: Snowflake organizuje mikropartycje wokół tej kolumny

Architektura Snowflake

Klucz klastrowania: kiedy stosować

clustering_key_v5.png

Architektura Snowflake

Klucz klastrowania: kardynalność i koszt

clustering_key_v5.png

Architektura Snowflake

Czas na ćwiczenia!

Architektura Snowflake

Preparing Video For Download...