Нормалізація реляційних даних

Вступ до моделювання даних у Snowflake

Nuno Rocha

Director of Engineering

Розуміння ненормалізованих даних

Ненормалізовані дані (UNF): дані без чіткої структури, неорганізовані, з повтореннями та/або аномаліями

Сутність «Усі товари»

Розуміння ненормалізованих даних

Аномалії в сутності «Усі товари»

Розуміння ненормалізованих даних

Підсвічено аномалію: банан

Розуміння ненормалізованих даних (3)

Підсвічено аномалію: виробник

Розуміння ненормалізованих даних (4)

Підсвічено аномалію: детальний опис

Розуміння ненормалізованих даних (5)

Підсвічено аномалію: товари

Проблеми ненормалізованих даних

Надлишковість даних: зайві повтори даних
Аномалії даних: нерегулярності або неузгодженості в даних

Аномалії в сутності «Усі товари»

Виявлення ненормалізованих даних

SELECT manufacturer_id, 
       manufacturer_name, 
       location, 
       COUNT(*) AS repetitions
FROM allproducts
GROUP BY manufacturer_id, 
    manufacturer_name, 
    location
HAVING COUNT(*) > 1;

Список виробників із кількістю повторів товарів

Виявлення ненормалізованих даних

SELECT DISTINCT category 
FROM allproducts;

Список категорій

Виявлення ненормалізованих даних

SELECT DISTINCT product_name,
    category
FROM allproducts
WHERE category = 'L';

Список товарів з категорією L

Виявлення ненормалізованих даних

SELECT DISTINCT product_name,
    category
FROM allproducts
WHERE category = 'L';

Список усіх товарів, що містять L

Нормалізовані дані

Нормалізовані дані: організовані в окремі атомарні сутності
Переваги:
- Краще точність і надійність даних
- Швидші запити
- Оптимізоване використання ресурсів
- Масштабованість

Терміни та огляд функцій

Ненормалізовані дані (UNF): дані без структури, неорганізовані або з повтореннями чи аномаліями
Нормалізовані дані: організовані в окремі атомарні сутності
SELECT FROM: оператор SQL для отримання даних із певної сутності
DISTINCT: повертає унікальні значення атрибута
COUNT: підраховує рядки, що відповідають умові
GROUP BY: групує рядки за зазначеними атрибутами
HAVING: фільтрує групи після GROUP BY за умовою
WHERE: фільтрує записи за умовою
AS: перейменовує стовпець або таблицю за допомогою псевдоніма

Огляд функцій

-- Вибір унікальних значень із фільтром за умовою
SELECT DISTINCT column_name
FROM table_name
WHERE column_name  condition  value;

-- Підрахунок значень, агрегованих за стовпцем, із фільтрацією результатів
SELECT column_name, 
    COUNT(*) AS alias_name
FROM table_name
GROUP BY column_name
HAVING COUNT(*)  condition  value;

Давайте потренуємось!

Вступ до моделювання даних у Snowflake