Lakehouse vs. warehouse для великих даних

Вступ до Microsoft Fabric

Fiodar Sazanavets

Senior Software Engineer

Чому у Fabric різні сховища даних

• Різна робота потребує різного зберігання
• Lakehouse: сирі та структуровані дані
• Warehouse зберігає структуровані дані

Що таке lakehouse?

• Наче гнучка майстерня
• Сирі файли (CSV, JSON, Parquet) і таблиці
• Корисно для інженерії даних і data science

Що таке warehouse?

• Наче керований склад
• Лише структуровані таблиці
• Створено для аналітики з акцентом на SQL
• Знайомо аналітикам і користувачам баз даних

Типові сценарії для lakehouse

• Дані надходять файлами; оригінали зберігаються
• Перетворюйте файли на таблиці

Типові сценарії для warehouse

• Зберігайте відібрані бізнес-записи
• Використовуйте сталу структуру

Роль SQL у downstream-аналітиці

• Downstream-аналітика: робота після збереження даних
  • Запити, моделювання та звіти
• Аналізу потрібна лише частина даних
• SQL визначає, які дані витягти

Як працює downstream-аналітика

• Шар підготовки даних: відібрані таблиці
• Шар моделювання: бізнес-метрики та звʼязки
• Шар звітності: те, що читають користувачі

Lakehouse vs. warehouse

Lakehouse

• Зберігає сирі файли й таблиці
• Аналітична SQL-крапка лише для читання

Warehouse

• Зберігає лише таблиці
• Повний T-SQL, зокрема INSERT і UPDATE

Давайте потренуємось!

Вступ до Microsoft Fabric