Платформа Data Intelligence — Дані

Вступ до Databricks

Kevin Barlow

Data Analytics Practitioner

Чому організаціям важливе керування даними?

Захист і безпека

Безпека даних

Довіра до даних

Надійна аналітика

Вступ до Databricks

Види даних

Структуровані
  • Найпоширеніші та зрозумілі
  • Типові рядки й стовпці
  • Приклади:
    • таблиці баз даних
    • .csv
    • Parquet
    • Delta
id name occupation location
1 Kevin Data Scientist California
2 Tom Architect Arizona
3 Sally Lawyer Texas
4 Tina Surgeon Florida
5 Joe Engineer New York
Вступ до Databricks

Види даних

Напівструктуровані
  • Поширені для вебпристроїв
  • Є певна структура, зміст гнучкіший
  • Приклади:
    • JSON
    • XML
    • HTML
{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}
Вступ до Databricks

Види даних

Неструктуровані
  • Поширені для смартпристроїв, камер тощо
  • Мало структури, багато інформації
  • Приклади:
    • JPEG
    • PNG
    • MP4
    • PDF
    • DOC

Схема неструктурованих даних

Вступ до Databricks

Delta

delta.io

  • Відкритий формат зберігання
  • Набір таблиць parquet
  • Журнал транзакцій JSON
  • Повна сумісність з ACID
  • Пакетні та потокові набори даних

Delta Lake

Вступ до Databricks

Unity Catalog

Модель даних Unity Catalog

1 https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model
Вступ до Databricks

Unity Catalog

Модель даних Unity Catalog

GRANT, SHOW, REVOKE, USE ...

Вступ до Databricks

Catalog Explorer

  • Єдине місце для дослідження всіх активів даних
  • UI для пошуку даних
  • Керуйте дозволами Unity Catalog
  • Переглядайте походження даних і пов'язані активи

Скріншот Catalog Explorer

Вступ до Databricks

Давайте потренуємось!

Вступ до Databricks

Preparing Video For Download...