Plataforma de inteligencia de datos - Datos

Introducción a Databricks

Kevin Barlow

Data Analytics Practitioner

¿Por qué a las organizaciones les importa la gestión de datos?

Protección y seguridad

Seguridad de datos

Confianza en los datos

Análisis con confianza

Tipos de datos

Estructurados

Los más comunes y comprendidos
Filas y columnas típicas
Ejemplos:
- tablas de bases de datos
- .csv
- Parquet
- Delta

id	nombre	ocupación	ubicación
1	Kevin	Data Scientist	California
2	Tom	Architect	Arizona
3	Sally	Lawyer	Texas
4	Tina	Surgeon	Florida
5	Joe	Engineer	New York

Tipos de datos

Semiestructurados

Comunes en dispositivos web
Algo de estructura, contenido más flexible
Ejemplos:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

Tipos de datos

No estructurados

Comunes en dispositivos inteligentes, cámaras, etc.
Poca estructura, mucha información
Ejemplos:
- JPEG
- PNG
- MP4
- PDF
- DOC

Diagrama de datos no estructurados

Delta

delta.io

Formato de almacenamiento open source
Conjunto de tablas Parquet
Registro de transacciones JSON
Totalmente compatible con ACID
Datos batch y streaming

Unity Catalog

Modelo de datos de Unity Catalog

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Modelo de datos de Unity Catalog

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

Un único lugar para explorar todos los activos de datos
UI para descubrir datos
Gestionar permisos de Unity Catalog
Ver linaje de datos y activos relacionados

Captura de Catalog Explorer

¡Vamos a practicar!

Introducción a Databricks