Что такое Snowflake?

Введение в Snowflake

Danny Hong

Senior Data Engineer

Ваш инструктор

Меня зовут Danny Hong
- Более 10 лет опыта в роли Data Analytics Engineer
- Работал в Google, Amazon и Meta
- Эксперт в Snowflake в области моделирования данных и анализа больших данных

Фотография Danny Hong

Что такое Snowflake? (продолжение)

Snowflake — ведущая платформа AI Data Cloud и хранилища данных
Широко используется инженерами по данным, BI-инженерами и аналитиками
Хранилище данных
- Репозиторий для хранения больших объёмов исторических данных
- Предназначено для исторического анализа и формирования отчётов с помощью SQL

Схема аналитического процесса: исходные данные загружаются в SQL-таблицы хранилища данных, которые затем используются для анализа или построения отчётов и дашбордов.

Почему Snowflake так популярен?

Платформа данных как управляемый сервис

Не требует настройки оборудования или программного обеспечения
Готова к работе сразу после регистрации нового аккаунта

Слева — готовый автомобиль, справа — автомобиль в процессе сборки из отдельных деталей.

Ключевые возможности Snowflake

Поддержка подключения к основным облачным провайдерам
- Пример: конвейер данных для приложения потокового видео
Возможность объединять внешние источники данных
Управление доступом к данным
- Применение принципа «минимальных привилегий»

Интерфейс Snowsight

Снимок экрана интерфейса Snowsight

Маркетплейс данных в Snowsight

Архитектура данных Snowflake

Схема архитектуры Snowflake с уровнями: Cloud Services, Query Processing и Database Storage.

Cloud Services
- Координирует действия пользователей
Query Processing
- Использует архитектуру массовой параллельной обработки (MPP)
- Распределяет данные и вычислительные ресурсы по кластеру узлов (компьютеров)
Database Storage
- Хранит данные в столбцовом формате (оптимизировано для аналитических запросов)

¹ https://docs.snowflake.com/en/user-guide/intro-key-concepts#snowflake-architecture

Давайте потренируемся!

Введение в Snowflake