Создание таблиц и управление ими

Управление данными в Databricks

Smriti Mishra

Founder, NordData Insight

Библиотека данных

Создание и управление

• Базы данных Databricks группируют связанные таблицы.
• Создание базы данных формирует масштабируемую структуру.
• Организованные данные упрощают доступ и управление.
• Таблицы хранят структурированные данные для запросов.

Эффективное управление

• Управление включает запросы, обновление и удаление данных.
• Удаление следует выполнять осторожно, чтобы не потерять данные.
• Безопасная практика: создавайте резервную копию перед удалением.

Ключевое слово LOCATION

• Databricks автоматически управляет расположением хранилища таблиц.
• Настройка по умолчанию упрощает управление данными.
• Пользовательский путь задаётся с помощью ключевого слова LOCATION.
• Гибкость важна для соответствия требованиям, контроля затрат и производительности.

Переопределение хранилища по умолчанию

• LOCATION переопределяет хранилище по умолчанию.
• Данные можно хранить во внешних облачных хранилищах:
  • например: AWS S3, Azure Blob Storage
• Удобно при интеграции с существующей инфраструктурой.
• Обеспечивает соответствие требованиям для конфиденциальных данных.

Динамическое управление данными

• LOCATION поддерживает динамическое управление данными.
• Перемещайте данные при изменении требований или затрат.
• Перенос выполняется без прерывания работы.
• Структура и процессы сохраняются при любых изменениях.

Давайте потренируемся!

Управление данными в Databricks