Monitory zasobów i obliczanie kredytów

Zarządzanie, ład danych i współpraca w Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Problem kosztów

• Analitycy codziennie uruchamiają zapytania w wielu magazynach
• Jedno kosztowne zapytanie ad-hoc pozostawione na długi weekend
• Kredyty narastają znacznie powyżej kosztu pojedynczego zadania
• Monitory zasobów to odpowiedź Snowflake

• Kosztowne zapytania zwiększają rachunek Snowflake

• Monitor zasobów = odpowiedź Snowflake

Czym jest kredyt Snowflake?

• Jednostka miary zużycia zasobów obliczeniowych
• Jeden kredyt = jedna godzina działania magazynu Standard Gen 1 X-Small
• Zużycie kredytów zależy od typu i rozmiaru magazynu
• Kredyty są naliczane tylko wtedy, gdy magazyn aktywnie pracuje

Zużycie kredytów według rozmiaru magazynu

 

¹ https://www.snowflake.com/legal-files/CreditConsumptionTable.pdf

Ważne zastrzeżenia dotyczące rozliczeń

• Użycie wirtualnego magazynu rozliczane jest per sekunda, z minimum jednej minuty
• Warstwa usług chmurowych: uwierzytelnianie, optymalizacja zapytań, metadane
• Kredyty za usługi chmurowe naliczane tylko powyżej 10% dziennych obliczeń magazynu
• Poniżej tego progu usługi chmurowe są efektywnie wliczone w cenę

Czym jest monitor zasobów?

• Śledzi zużycie kredytów względem określonego limitu
• Przypisywany do magazynu lub całego konta
• Monitoruje postęp w miarę zużywania kredytów przez magazyn
• Podejmuje działania po osiągnięciu progu zużycia

Akcje monitora zasobów

Monitory na poziomie konta i magazynu

• Poziom konta: śledzi łączne zużycie we wszystkich magazynach
• Jeden limit dla całego budżetu

• Poziom magazynu: ograniczony do jednego magazynu, każdy zespół ma własny limit
• Oba poziomy mogą współistnieć – ogólny pułap i limity per zespół

Czas na ćwiczenia!

Zarządzanie, ład danych i współpraca w Snowflake