- データ構造

データエンジニアリングを理解する

Hadrien Lacroix

Content Developer at DataCamp

構造化データ

  • 検索や整理が簡単
  • 一貫したモデル、行と列
  • 定義済み型
  • 関係を形成するためにグループ化できる
  • リレーショナルデータベースに保存
  • データの約20%は構造化されています
  • SQLで作成およびクエリされる
データエンジニアリングを理解する

従業員テーブル

index last_name first_name role team full_time office
0 Thien Vivian データエンジニア データサイエンス 1 ベルギー
1 Huong Julian データサイエンティスト データサイエンス 1 ベルギー
2 デュプランティエ ノルベール ソフトウェア開発者 インフラストラクチャ 1 イギリス
3 McColgan Jeff ビジネス開発担当 営業 1 アメリカ合衆国
4 Sanchez Rick サポート担当者 カスタマーサービス 0 アメリカ合衆国
データエンジニアリングを理解する

リレーショナルデータベース

オフィス 住所 都市 郵便番号
ベルギー マルテラーレンラン 38 ルーヴェン 3010
英国 オールド・ストリート 207 ロンドン EC1V 9NR
アメリカ 5番街 350 ニューヨーク 10118
データエンジニアリングを理解する

リレーショナルデータベース

index last_name first_name office address number city zipcode
0 Thien Vivian ベルギー Martelarenlaan 38 Leuven 3010
1 Huong Julian ベルギー Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff 米国 5th Ave 350 ニューヨーク 10118
4 Sanchez Rick 米国 5th Ave 350 New York 10118
データエンジニアリングを理解する

半構造化データ

  • 比較的容易に検索・整理できる
  • 貫したモデルを持つが、実装の厳密さは低い:観測ごとにサイズが異なる
  • 異なる種類
  • グループ化できるが、さらに作業が必要
  • NoSQLデータベース: JSON、XML、YAML
データエンジニアリングを理解する

お気に入りアーティストのJSONファイル

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
データエンジニアリングを理解する

非構造化データ

  • モデルに従わず、行と列で表現できない
  • 検索や整理が難しい
  • 通常はテキスト、音声、画像、または動画
  • 通常はデータレイクに保存され、データウェアハウスやデータベースにも存在する場合がある
  • データのほとんどは非構造化です
  • 非常に価値が高い場合がある
データエンジニアリングを理解する

歌詞

データエンジニアリングを理解する

曲のスペクトル

データエンジニアリングを理解する

アルバムカバー

データエンジニアリングを理解する

ミュージックビデオ

データエンジニアリングを理解する

構造を追加

  • AIを使って非構造化データを検索・整理する
  • 情報を追加して半構造化にする
データエンジニアリングを理解する

概要

  • 構造化データ
  • 半構造化データ
  • 非構造化データ
  • 3種類の違い
  • 例を示す
データエンジニアリングを理解する

練習しましょう!

データエンジニアリングを理解する

Preparing Video For Download...