Resource Monitors en kredietberekening

Snowflake-beheer, -governance en -samenwerking

Emily Melhuish

Technical Curriculum Developer, Snowflake

Het kostenprobleem

• Analisten draaien dagelijks queries over meerdere warehouses
• Eén dure ad-hocquery bleef een lang weekend draaien
• Kredieten liepen op, veel hoger dan één job zou kosten
• Resource monitors zijn Snowflake’s antwoord

• Dure queries verhogen de Snowflake-rekening

• Resource monitor = Snowflake’s antwoord

Wat is een Snowflake-krediet?

• De eenheid voor compute-verbruik
• Eén krediet = één uur continu draaien van een Standard Gen 1 X-Small warehouse
• Kredietverbruik hangt af van type en grootte van het warehouse
• Kredieten worden alleen verbruikt terwijl een warehouse actief draait

Kredietverbruik per warehousegrootte

 

¹ https://www.snowflake.com/legal-files/CreditConsumptionTable.pdf

Belangrijke kanttekeningen bij facturatie

• Verbruik van virtual warehouses wordt per seconde gefactureerd, min. één minuut
• Cloudservices-laag: authenticatie, query-optimalisatie, metadata
• Cloudservices-kredieten pas belast boven 10% van dagelijks warehouse-verbruik
• Onder die drempel zijn cloudservices feitelijk inbegrepen

Wat is een Resource Monitor?

• Bewaakt kredietverbruik tegen een gedefinieerd quotum
• Koppel aan een warehouse of aan het hele account
• Volgt voortgang terwijl het warehouse kredieten verbruikt
• Onderneemt actie bij een drempelpercentage

Acties van Resource Monitor

Account- vs. warehouseniveau-monitors

• Accountniveau: volgt totaalverbruik over alle warehouses
• Eén vangrail voor het totale budget

• Warehouseniveau: beperkt tot één warehouse; elk team z'n eigen quotum
• Beide niveaus kunnen samen: harde limiet plus per-teamlimieten

Laten we oefenen!

Snowflake-beheer, -governance en -samenwerking