データインテリジェンスプラットフォーム - データ

Databricks入門

Kevin Barlow

Data Analytics Practitioner

なぜ組織はデータ管理を重視するのか

保護とセキュリティ

データセキュリティ

データへの信頼

信頼できる分析

データの種類

構造化

最も一般的で理解されている
典型的な行と列
例:
- データベーステーブル
- .csv
- Parquet
- Delta

id	name	occupation	location
1	Kevin	Data Scientist	California
2	Tom	Architect	Arizona
3	Sally	Lawyer	Texas
4	Tina	Surgeon	Florida
5	Joe	Engineer	New York

データの種類

半構造化

Web系デバイスで一般的
一部に構造、内容は柔軟
例:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

データの種類

非構造化

スマートデバイスやカメラで一般的
構造は乏しいが情報量が多い
例:
- JPEG
- PNG
- MP4
- PDF
- DOC

非構造化データの図

Delta

delta.io

オープンソースのストレージ形式
Parquetテーブルの集合
JSONトランザクションログ
完全なACID準拠
バッチ/ストリーミング両対応

Unity Catalog

Unity Catalog のデータモデル

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Unity Catalog のデータモデル

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

すべてのデータ資産を一括探索
データ発見のためのUI
Unity Catalogの権限管理
データリネージと関連資産の可視化

Catalog Explorer のスクリーンショット

練習しましょう！

Databricks入門