Profil zapytania, historia i wgląd

Automatyzacja potoków danych w Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Dlaczego warto używać profilu zapytania

panel_operacyjny

  • Snowflake może skanować dane, których nie powinien w ogóle przetwarzać
Automatyzacja potoków danych w Snowflake

Otwieranie profilu zapytania w Snowsight

Jak uzyskać dostęp do profilu zapytania

Dostęp: Monitoring > Historia zapytań > [Wybierz zapytanie] > Zakładka Profil zapytania

Automatyzacja potoków danych w Snowflake

Odczytywanie drzewa operatorów

Profil zapytania Snowsight z grafem operatorów i panelem Najdroższe węzły

Automatyzacja potoków danych w Snowflake

Cztery typowe problemy wykrywane przez profil zapytania

Eksplodujące złączenia

  • Generują więcej wierszy, niż są w stanie przetworzyć

UNION bez ALL

  • Dodaje agregację nad UNION w celu usunięcia duplikatów
  • Koszt = dodatkowy czas

Przepełnienie dysku

  • Operatory intensywnie korzystające z pamięci wyczerpują jej zasoby
  • Dotyczy agregacji, sortowania i dużych złączeń

Nieefektywne przycinanie

  • Widoczne, gdy liczba skanowanych partycji zbliża się do ich łącznej liczby
  • Filtry nie działają efektywnie
Automatyzacja potoków danych w Snowflake

Przepełnienie dysku: lokalne a zdalne

  • Lokalne przepełnienie → SSD magazynu - wolniejsze niż pamięć, ale akceptowalne
  • Zdalne przepełnienie → magazyn w chmurze - znacznie wolniejsze; wymaga interwencji

Zapytanie diagnostyczne

SELECT 
query_id,
bytes_spilled_to_local_storage,
bytes_spilled_to_remote_storage
FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
WHERE bytes_spilled_to_remote_storage > 0
ORDER BY bytes_spilled_to_remote_storage DESC
LIMIT 10;
Automatyzacja potoków danych w Snowflake

QUERY_HISTORY: Widoczność na poziomie konta

  • ACCOUNT_USAGE.QUERY_HISTORY - widok z retencją 365 dni
  • INFORMATION_SCHEMA.QUERY_HISTORY() - funkcja tabelaryczna z retencją 7 dni

Zrzut ekranu z uruchomioną historią zapytań

Automatyzacja potoków danych w Snowflake

Query Insights: Automatyczne rekomendacje

Rekomendacja z Query Insights

Automatyzacja potoków danych w Snowflake

Czas na ćwiczenia!

Automatyzacja potoków danych w Snowflake

Preparing Video For Download...