Plataforma de datos inteligente: Compute

Introducción a Databricks

Kevin Barlow

Data Practitioner

¿Por qué a las organizaciones les importa el cómputo?

Engranaje simple

Sistema de engranajes

Creado por los cofundadores de Databricks
Framework de código abierto
Computación distribuida muy eficiente
APIs para Python, SQL, Scala, R
Válido para todo:
- de ingeniería de datos a machine learning e inteligencia de negocio

Consulta algunos cursos de Apache Spark en DataCamp.

Logotipo de Apache Spark

Clásico

Los recursos de cómputo (máquinas virtuales) se crean en el Compute Plane
Databricks aporta la configuración a tu nube
Pros: cómputo y seguridad en tu entorno, aprovecha pools de cómputo existentes, etc.
Contras: inicio lento

Plano de control de Databricks

Serverless

Los recursos de cómputo (máquinas virtuales) se crean en el Control Plane
Databricks da acceso a tus usuarios
Pros: inicio rápido, últimas funciones, máximo rendimiento, mejora continua por Databricks
Contras(?): el cómputo no está en tu entorno

Arquitectura serverless

Nodo único

Clúster de nodo único

Varios nodos

Clúster multinodo

Instalado en cada clúster de Databricks
- Versión optimizada de Apache Spark
- Photon para SQL más rápidas
- Bibliotecas comunes (p. ej., pandas, dplyr, scikit-learn)
- Lógica para conectarse con servicios de Databricks

Recomendación: usa la versión más reciente LTS (soporte a largo plazo) del Runtime

Clúster con Databricks Runtime

Introducción a Databricks