Платформа Data Intelligence - данные

Введение в Databricks

Kevin Barlow

Data Analytics Practitioner

Зачем организациям управление данными?

Защита и безопасность

Безопасность данных

Доверие к данным

Уверенная аналитика

Виды данных

Структурированные

Наиболее распространённый тип
Стандартные строки и столбцы
Примеры:
- таблицы баз данных
- .csv
- Parquet
- Delta

id	name	occupation	location
1	Kevin	Data Scientist	California
2	Tom	Architect	Arizona
3	Sally	Lawyer	Texas
4	Tina	Surgeon	Florida
5	Joe	Engineer	New York

Виды данных

Полуструктурированные

Характерны для веб-устройств
Частичная структура, гибкое содержимое
Примеры:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

Виды данных

Неструктурированные

Характерны для смарт-устройств, камер и т. д.
Минимальная структура, богатое содержимое
Примеры:
- JPEG
- PNG
- MP4
- PDF
- DOC

Диаграмма неструктурированных данных

Delta

delta.io

Формат хранения с открытым исходным кодом
Набор таблиц Parquet
Журнал транзакций JSON
Полное соответствие ACID
Пакетная обработка и потоковые наборы данных

Unity Catalog

Модель данных Unity Catalog

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Модель данных Unity Catalog

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

Единое место для просмотра всех информационных ресурсов
Интерфейс для поиска данных
Управление правами Unity Catalog
Просмотр происхождения данных и связанных ресурсов

Снимок экрана Catalog Explorer

Давайте потренируемся!

Введение в Databricks