Chuẩn hóa dữ liệu quan hệ

Nhập môn Mô hình dữ liệu trong Snowflake

Nuno Rocha

Director of Engineering

Hiểu dữ liệu chưa chuẩn hóa

Dữ liệu chưa chuẩn hóa (UNF): Có thể thiếu cấu trúc, rời rạc, lặp hoặc có bất thường

Thực thể All products

Hiểu dữ liệu chưa chuẩn hóa

Bất thường trong thực thể all products

Hiểu dữ liệu chưa chuẩn hóa

Nổi bật bất thường ở Chuối

Hiểu dữ liệu chưa chuẩn hóa (3)

Nổi bật bất thường ở Manufacturer

Hiểu dữ liệu chưa chuẩn hóa (4)

Nổi bật bất thường ở mô tả chi tiết

Hiểu dữ liệu chưa chuẩn hóa (5)

Nổi bật bất thường ở Products

Vấn đề với dữ liệu chưa chuẩn hóa

Dư thừa dữ liệu: Lặp lại không cần thiết
Bất thường dữ liệu: Sai lệch hoặc không nhất quán

Bất thường trong thực thể all products

Nhận diện dữ liệu chưa chuẩn hóa

SELECT manufacturer_id, 
       manufacturer_name, 
       location, 
       COUNT(*) AS repetitions
FROM allproducts
GROUP BY manufacturer_id, 
    manufacturer_name, 
    location
HAVING COUNT(*) > 1;

Danh sách nhà sản xuất với số lần lặp sản phẩm

Nhận diện dữ liệu chưa chuẩn hóa

SELECT DISTINCT category 
FROM allproducts;

Danh sách danh mục

Nhận diện dữ liệu chưa chuẩn hóa

SELECT DISTINCT product_name,
    category
FROM allproducts
WHERE category = 'L';

Danh sách sản phẩm có danh mục L

Nhận diện dữ liệu chưa chuẩn hóa

SELECT DISTINCT product_name,
    category
FROM allproducts
WHERE category = 'L';

Danh sách mọi sản phẩm chứa L

Dữ liệu chuẩn hóa

Dữ liệu chuẩn hóa: Dữ liệu được tổ chức thành các thực thể riêng, nguyên tử
Lợi ích:
- Tăng độ chính xác và tin cậy
- Cải thiện hiệu năng truy vấn
- Tối ưu tài nguyên
- Khả năng mở rộng

Tổng quan thuật ngữ và hàm

Dữ liệu chưa chuẩn hóa (UNF): Có thể thiếu cấu trúc, rời rạc, hoặc có lặp/bất thường
Dữ liệu chuẩn hóa: Dữ liệu được tổ chức thành các thực thể riêng, nguyên tử
SELECT FROM: Mệnh đề SQL truy xuất dữ liệu từ một thực thể
DISTINCT: Trả về giá trị duy nhất của một thuộc tính
COUNT: Đếm số hàng thỏa điều kiện
GROUP BY: Gom các hàng theo giá trị của thuộc tính chỉ định
HAVING: Dùng với GROUP BY để lọc nhóm theo điều kiện
WHERE: Lọc bản ghi theo điều kiện
AS: Đặt bí danh cho cột hoặc bảng

Tổng quan hàm

-- Querying unique values while being filtered by a specific condition
SELECT DISTINCT column_name
FROM table_name
WHERE column_name  condition  value;

-- Counting the values aggregated by a specific column while filtering the results
SELECT column_name, 
    COUNT(*) AS alias_name
FROM table_name
GROUP BY column_name
HAVING COUNT(*)  condition  value;

Ayo berlatih!

Nhập môn Mô hình dữ liệu trong Snowflake