資料結構

Understanding Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

結構化資料

  • 易於搜尋與整理
  • 一致的模型,列與欄
  • 已定義型別
  • 可分組形成關聯
  • 儲存在關聯式資料庫
  • 約 20% 的資料是結構化
  • 以 SQL 建立與查詢
Understanding Data Engineering

員工表

index last_name first_name role team full_time office
0 Thien Vivian Data Engineer Data Science 1 Belgium
1 Huong Julian Data Scientist Data Science 1 Belgium
2 Duplantier Norbert Software Developer Infrastructure 1 United Kingdom
3 McColgan Jeff Business Developer Sales 1 United States
4 Sanchez Rick Support Agent Customer Service 0 United States
Understanding Data Engineering

關聯式資料庫

office address number city zipcode
Belgium Martelarenlaan 38 Leuven 3010
UK Old Street 207 London EC1V 9NR
USA 5th Ave 350 New York 10118
Understanding Data Engineering

關聯式資料庫

index last_name first_name office address number city zipcode
0 Thien Vivian Belgium Martelarenlaan 38 Leuven 3010
1 Huong Julian Belgium Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
Understanding Data Engineering

半結構化資料

  • 相對易於搜尋與整理
  • 模型一致,實作較不僵硬:不同觀測可有不同長度
  • 多種型別
  • 可分組,但需更多處理
  • NoSQL 資料庫:JSON、XML、YAML
Understanding Data Engineering

最愛藝人 JSON 檔

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
Understanding Data Engineering

非結構化資料

  • 不遵循固定模型,無法用列與欄承載
  • 難以搜尋與整理
  • 多為文字、聲音、圖片或影片
  • 通常存於資料湖,也可能出現在資料倉儲或資料庫
  • 多數資料屬非結構化
  • 可能極具價值
Understanding Data Engineering

lyrics

Understanding Data Engineering

song spectrum

Understanding Data Engineering

album cover

Understanding Data Engineering

music video

Understanding Data Engineering

加入一些結構

  • 用 AI 搜尋並整理非結構化資料
  • 加上資訊,使其成為半結構化
Understanding Data Engineering

重點整理

  • 結構化資料
  • 半結構化資料
  • 非結構化資料
  • 三者差異
  • 舉例說明
Understanding Data Engineering

一起來練習吧!

Understanding Data Engineering

Preparing Video For Download...