数据结构

理解 Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

结构化数据

  • 易于搜索与整理
  • 模型一致,按行列组织
  • 类型已定义
  • 可分组形成关系
  • 存储于关系型数据库
  • 约 20% 的数据是结构化的
  • 用 SQL 创建和查询
理解 Data Engineering

员工表

index last_name first_name role team full_time office
0 Thien Vivian Data Engineer Data Science 1 Belgium
1 Huong Julian Data Scientist Data Science 1 Belgium
2 Duplantier Norbert Software Developer Infrastructure 1 United Kingdom
3 McColgan Jeff Business Developer Sales 1 United States
4 Sanchez Rick Support Agent Customer Service 0 United States
理解 Data Engineering

关系型数据库

office address number city zipcode
Belgium Martelarenlaan 38 Leuven 3010
UK Old Street 207 London EC1V 9NR
USA 5th Ave 350 New York 10118
理解 Data Engineering

关系型数据库

index last_name first_name office address number city zipcode
0 Thien Vivian Belgium Martelarenlaan 38 Leuven 3010
1 Huong Julian Belgium Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
理解 Data Engineering

半结构化数据

  • 较易搜索与整理
  • 模型一致,实施更灵活:不同观测大小不同
  • 类型多样
  • 可分组,但更费力
  • NoSQL 数据库:JSON、XML、YAML
理解 Data Engineering

喜爱艺人 JSON 文件

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
理解 Data Engineering

非结构化数据

  • 不遵循固定模型,无法装入行和列
  • 难以搜索与整理
  • 通常为文本、音频、图片或视频
  • 通常存于数据湖,也可见于数据仓库或数据库
  • 大多数数据是非结构化的
  • 价值可能极高
理解 Data Engineering

歌词

理解 Data Engineering

歌曲频谱

理解 Data Engineering

专辑封面

理解 Data Engineering

音乐视频

理解 Data Engineering

增加一些结构

  • 用 AI 搜索与整理非结构化数据
  • 添加信息使其半结构化
理解 Data Engineering

小结

  • 结构化数据
  • 半结构化数据
  • 非结构化数据
  • 三者差异
  • 举例说明
理解 Data Engineering

让我们练习!

理解 Data Engineering

Preparing Video For Download...