Lưu trữ dữ liệu

Thiết kế cơ sở dữ liệu

Lis Sulmont

Curriculum Manager

Cấu trúc hóa dữ liệu

1. Dữ liệu có cấu trúc

Theo một lược đồ
Kiểu dữ liệu & quan hệ được định nghĩa

ví dụ: SQL, bảng trong CSDL quan hệ

2. Dữ liệu phi cấu trúc

Không có lược đồ
Chiếm phần lớn dữ liệu trên thế giới

ví dụ: ảnh, log chat, MP3

3. Dữ liệu bán cấu trúc

Không theo lược đồ tổng thể
Cấu trúc tự mô tả

ví dụ: NoSQL, XML, JSON

# Example of a JSON file
"user": {
     "profile_use_background_image": true, 
     "statuses_count": 31, 
     "profile_background_color": "C0DEED", 
     "followers_count": 3066, 
     ...

Cấu trúc hóa dữ liệu

Sơ đồ phổ giữa dữ liệu có cấu trúc và phi cấu trúc

¹ Flower by Sam Oth and Database Diagram by Nick Jenkins via Wikimedia Commons https://commons.wikimedia.org/wiki/File:Languages_xml.png

Lưu trữ dữ liệu ngoài CSDL truyền thống

CSDL truyền thống
- Lưu dữ liệu quan hệ thời gian thực có cấu trúc ⟶ OLTP
Data warehouse
- Phân tích dữ liệu có cấu trúc đã lưu trữ ⟶ OLAP
Data lake
- Lưu mọi cấu trúc dữ liệu = linh hoạt, khả mở rộng
- Phân tích big data

Data warehouse

Tối ưu cho phân tích - OLAP
- Tổ chức để đọc/tổng hợp dữ liệu
- Thường chỉ đọc
Chứa dữ liệu từ nhiều nguồn
Xử lý song song quy mô lớn (MPP)
Thường dùng lược đồ phi chuẩn hóa và mô hình dữ liệu chiều

Data mart

Tập con của data warehouse
Dành cho một chủ đề cụ thể

Amazon Redshift, Google BigQuery và Azure SQL Data Warehouse

Data mart là tập con của data warehouse

Data lake

Lưu mọi loại dữ liệu với chi phí thấp hơn:
- ví dụ: thô, CSDL vận hành, log thiết bị IoT, thời gian thực, quan hệ và phi quan hệ
Giữ toàn bộ dữ liệu, có thể tới petabyte
Schema-on-read thay vì schema-on-write
Cần phân loại/catalog, nếu không sẽ thành đầm lầy dữ liệu
Chạy phân tích big data bằng Apache Spark và Hadoop
- Hữu ích cho học sâu và khám phá dữ liệu vì cần rất nhiều dữ liệu

Lưu trữ dữ liệu

Cấu trúc hóa dữ liệu

Cấu trúc hóa dữ liệu

Lưu trữ dữ liệu ngoài CSDL truyền thống

Data warehouse

Data lake

ETL

ELT

Ayo berlatih!