Cấu trúc dữ liệu

Tìm hiểu Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Dữ liệu có cấu trúc

  • Dễ tìm kiếm và tổ chức
  • Mô hình nhất quán, có hàng và cột
  • Kiểu dữ liệu xác định
  • Có thể nhóm thành quan hệ
  • Lưu trong cơ sở dữ liệu quan hệ
  • Khoảng 20% dữ liệu là có cấu trúc
  • Tạo và truy vấn bằng SQL
Tìm hiểu Data Engineering

Bảng nhân viên

index last_name first_name role team full_time office
0 Thien Vivian Data Engineer Data Science 1 Belgium
1 Huong Julian Data Scientist Data Science 1 Belgium
2 Duplantier Norbert Software Developer Infrastructure 1 United Kingdom
3 McColgan Jeff Business Developer Sales 1 United States
4 Sanchez Rick Support Agent Customer Service 0 United States
Tìm hiểu Data Engineering

Cơ sở dữ liệu quan hệ

office address number city zipcode
Belgium Martelarenlaan 38 Leuven 3010
UK Old Street 207 London EC1V 9NR
USA 5th Ave 350 New York 10118
Tìm hiểu Data Engineering

Cơ sở dữ liệu quan hệ

index last_name first_name office address number city zipcode
0 Thien Vivian Belgium Martelarenlaan 38 Leuven 3010
1 Huong Julian Belgium Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
Tìm hiểu Data Engineering

Dữ liệu bán cấu trúc

  • Khá dễ tìm kiếm và tổ chức
  • Mô hình nhất quán, triển khai linh hoạt hơn: quan sát có kích thước khác nhau
  • Nhiều kiểu dữ liệu
  • Có thể nhóm, nhưng tốn công hơn
  • Cơ sở dữ liệu NoSQL: JSON, XML, YAML
Tìm hiểu Data Engineering

Tệp JSON nghệ sĩ yêu thích

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
Tìm hiểu Data Engineering

Dữ liệu phi cấu trúc

  • Không theo mô hình, không đưa vào hàng/cột được
  • Khó tìm kiếm và tổ chức
  • Thường là văn bản, âm thanh, hình ảnh hoặc video
  • Thường lưu ở data lake, cũng có thể ở data warehouse hoặc cơ sở dữ liệu
  • Phần lớn dữ liệu là phi cấu trúc
  • Có thể cực kỳ giá trị
Tìm hiểu Data Engineering

lời bài hát

Tìm hiểu Data Engineering

phổ bài hát

Tìm hiểu Data Engineering

bìa album

Tìm hiểu Data Engineering

video nhạc

Tìm hiểu Data Engineering

Bổ sung cấu trúc

  • Dùng AI để tìm kiếm và tổ chức dữ liệu phi cấu trúc
  • Bổ sung thông tin để thành bán cấu trúc
Tìm hiểu Data Engineering

Tóm tắt

  • Dữ liệu có cấu trúc
  • Dữ liệu bán cấu trúc
  • Dữ liệu phi cấu trúc
  • Khác biệt giữa ba loại
  • Nêu ví dụ
Tìm hiểu Data Engineering

Ayo berlatih!

Tìm hiểu Data Engineering

Preparing Video For Download...