Trwałość i zakres tabel

Zarządzanie danymi w Databricks

Smriti Mishra

Founder, NordData Insight

Czym jest trwałość tabel?

  • Trwałość tabeli kontroluje przechowywanie i retencję danych
  • Wpływa na przechowywanie, dostęp i utrzymanie danych
  • Databricks obsługuje tabele zarządzane i niezarządzane

Rysunkowy obraz osób przechowujących i przeglądających pliki w szafkach

Zarządzanie danymi w Databricks

Tabele zarządzane w Databricks

  • W pełni zarządzane przez Databricks, łącznie z lokalizacją i cyklem życia.
  • Dane są automatycznie usuwane po usunięciu tabeli.
  • Odpowiednie do prostego, scentralizowanego zarządzania danymi.

Obraz przedstawiający działanie systemu scentralizowanego za pomocą kolorowych kropek

Zarządzanie danymi w Databricks

Tabele niezarządzane w Databricks

  • Podejście zdecentralizowane
  • Kontrola nad lokalizacją i cyklem życia danych
  • Usunięcie tabeli nie usuwa danych
  • Przydatne przy niestandardowych wymaganiach dotyczących przechowywania lub zgodności

Obraz przedstawiający działanie systemu zdecentralizowanego za pomocą kolorowych kropek

Zarządzanie danymi w Databricks

Tabele zarządzane czy niezarządzane?

Aspect.png

Zarządzanie danymi w Databricks

Słowo kluczowe LOCATION

  • Niezbędne do określenia lokalizacji danych w tabelach niezarządzanych.
  • Lokalizacja wpływa na koszty, czas dostępu i zasady retencji.

 

CREATE TABLE table_name (
    column_name data_type,
    ...
)
USING file_format
LOCATION 'path/to/data';
Zarządzanie danymi w Databricks

Najważniejsze wnioski

  • Tabele zarządzane centralizują przechowywanie i cykl życia w Databricks.
  • Tabele niezarządzane zapewniają elastyczność w zarządzaniu danymi.
  • Wybór zależy od potrzeb w zakresie przechowywania i kontroli danych.

Obraz przedstawiający zarządzanie przechowywaniem i cyklem życia danych

Zarządzanie danymi w Databricks

Czas na ćwiczenia!

Zarządzanie danymi w Databricks

Preparing Video For Download...