数据智能平台 - 数据

Databricks 入门

Kevin Barlow

Data Analytics Practitioner

组织为何重视数据管理？

保护与安全

数据安全

数据可信度

可信分析

数据类型

结构化

最常见且易理解
典型的行与列
示例：
- 数据库表
- .csv
- Parquet
- Delta

id	name	occupation	location
1	Kevin	Data Scientist	California
2	Tom	Architect	Arizona
3	Sally	Lawyer	Texas
4	Tina	Surgeon	Florida
5	Joe	Engineer	New York

数据类型

半结构化

常见于基于 Web 的设备
有一定结构，内容更灵活
示例：
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

数据类型

非结构化

常见于智能设备、摄像头等
结构少，信息量大
示例：
- JPEG
- PNG
- MP4
- PDF
- DOC

非结构化数据示意图

Delta

delta.io

开源存储格式
由 Parquet 表组成
JSON 事务日志
完全符合 ACID
支持批处理与流式数据集

Unity Catalog

Unity Catalog 数据模型

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Unity Catalog 数据模型

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

在单一位置浏览全部数据资产
通过界面发现数据
管理 Unity Catalog 权限
查看数据血缘与相关资产

目录浏览器截图

让我们来练习！

Databricks 入门