Распространённые паттерны дата-инжиниринга

Введение в Databricks SQL

Kevin Barlow

Data Manager

Мотивация

Диаграмма Lakehouse — трансформация

Обработка входящих данных

Инкрементальное добавление

Добавляет новые данные в конец существующей таблицы
```
INSERT INTO students 
TABLE visiting_students;
```

Диаграмма инкрементального добавления

Change Data Capture (CDC)

Интегрирует данные в существующую таблицу

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

Диаграмма CDC

Оптимизация данных

OPTIMIZE

Объединяет фрагменты данных в более крупные файлы
Решает проблему «мелких файлов»

Z-ORDER

Аналог индексирования в СУБД
Размещает связанные данные в одних файлах
Сокращает время чтения данных

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

Давайте потренируемся!

Введение в Databricks SQL