資料智慧平台－資料

Databricks 入門

Kevin Barlow

Data Analytics Practitioner

為何組織重視資料管理？

保護與安全

資料安全

對資料的信心

可信任分析

資料型態

結構化

最常見且易懂
典型的列與欄
例子：
- 資料庫資料表
- .csv
- Parquet
- Delta

id	name	occupation	location
1	Kevin	Data Scientist	California
2	Tom	Architect	Arizona
3	Sally	Lawyer	Texas
4	Tina	Surgeon	Florida
5	Joe	Engineer	New York

資料型態

半結構化

常見於網路裝置
有部分結構，內容更彈性
例子：
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

資料型態

非結構化

常見於智慧裝置、相機等
結構少、資訊豐富
例子：
- JPEG
- PNG
- MP4
- PDF
- DOC

非結構化資料示意圖

Delta

delta.io

開源儲存格式
多個 parquet 資料表的集合
JSON 交易日誌
完整符合 ACID
批次與串流資料集

Unity Catalog

Unity Catalog 資料模型

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Unity Catalog 資料模型

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

單一位置探索所有資料資產
以 UI 探索資料
管理 Unity Catalog 權限
檢視資料血緣與關聯資產

Catalog Explorer 螢幕擷圖

一起來練習吧！

Databricks 入門