Nền tảng Trí tuệ Dữ liệu - Dữ liệu

Giới thiệu về Databricks

Kevin Barlow

Data Analytics Practitioner

Vì sao tổ chức quan tâm đến quản trị dữ liệu?

Bảo vệ và bảo mật

Bảo mật dữ liệu

Độ tin cậy của dữ liệu

Phân tích đáng tin cậy

Các loại dữ liệu

Có cấu trúc

Phổ biến và dễ hiểu nhất
Dạng hàng và cột điển hình
Ví dụ:
- bảng cơ sở dữ liệu
- .csv
- Parquet
- Delta

id	name	occupation	location
1	Kevin	Data Scientist	California
2	Tom	Architect	Arizona
3	Sally	Lawyer	Texas
4	Tina	Surgeon	Florida
5	Joe	Engineer	New York

Các loại dữ liệu

Bán cấu trúc

Phổ biến với thiết bị dựa trên web
Có cấu trúc, nhưng linh hoạt về nội dung hơn
Ví dụ:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

Các loại dữ liệu

Phi cấu trúc

Phổ biến với thiết bị thông minh, camera, v.v.
Ít cấu trúc, giàu thông tin
Ví dụ:
- JPEG
- PNG
- MP4
- PDF
- DOC

Sơ đồ dữ liệu phi cấu trúc

Delta

delta.io

Định dạng lưu trữ mã nguồn mở
Tập hợp các bảng parquet
Nhật ký giao dịch JSON
Tuân thủ đầy đủ ACID
Hỗ trợ batch và streaming

Unity Catalog

Mô hình dữ liệu Unity Catalog

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Mô hình dữ liệu Unity Catalog

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

Một nơi để khám phá mọi tài sản dữ liệu
Giao diện khám phá dữ liệu
Quản lý quyền trong Unity Catalog
Xem lineage và tài sản liên quan

Ảnh chụp Catalog Explorer

Hãy thực hành!

Giới thiệu về Databricks