Постійність і сфера дії таблиць

Керування даними в Databricks

Smriti Mishra

Founder, NordData Insight

Що таке постійність таблиці?

  • Постійність таблиці визначає зберігання та утримання даних
  • Впливає на зберігання, доступ і обслуговування
  • Databricks підтримує керовані й некеровані таблиці

Малюнок: люди зберігають і переглядають файли в шафах

Керування даними в Databricks

Керовані таблиці в Databricks

  • Повністю керується Databricks: розміщення даних і життєвий цикл.
  • Під час видалення таблиці дані видаляються автоматично.
  • Підходить для простої централізованої роботи з даними.

Зображення роботи централізованої системи з різнокольоровими точками

Керування даними в Databricks

Некеровані таблиці в Databricks

  • Децентралізований підхід
  • Ви контролюєте розміщення даних і їх життєвий цикл
  • Видалення некерованої таблиці не видаляє дані
  • Корисно для кастомного зберігання або вимог відповідності

Зображення роботи децентралізованої системи з різнокольоровими точками

Керування даними в Databricks

Керовані чи некеровані таблиці?

Aspect.png

Керування даними в Databricks

Ключове слово LOCATION

  • Ключове для задання сховища в некерованих таблицях.
  • Розташування впливає на вартість, час доступу та політики зберігання.

 

CREATE TABLE table_name (
    column_name data_type,
    ...
)
USING file_format
LOCATION 'path/to/data';
Керування даними в Databricks

Основні висновки

  • Керовані таблиці централізують сховище й життєвий цикл у Databricks.
  • Некеровані таблиці дають гнучкість у сховищі та життєвому циклі даних.
  • Обирайте за потребою у зберіганні, контролі та адмініструванні.

Зображення керування зберіганням і життєвим циклом даних

Керування даними в Databricks

Давайте потренуємось!

Керування даними в Databricks

Preparing Video For Download...