Consultar modelos de IA con Databricks

Databricks con el SDK de Python

Avi Steinberg

Senior Software Engineer

Foundation Models

Imagen de Foundation Model

  • Redes neuronales grandes y preentrenadas
  • Entrenadas con grandes conjuntos de datos variados
  • Alojadas dentro o fuera de Databricks
1 https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview
Databricks con el SDK de Python

Modelos populares de chat completion

Alojados fuera de Databricks:

  • ChatGPT de OpenAI
  • Claude de Anthropic
  • Gemini de Google Cloud

OpenAI ChatGPT

Anthropic Claude

Google Gemini

Alojados en Databricks:

  • Meta Llama

$$

Databricks Meta Llama

Databricks con el SDK de Python

Databricks Meta Llama

  • Meta se asoció con Databricks para alojar Meta Llama en Databricks
  • LLM (Large Language Model) creado y entrenado por Meta
  • Competitivo con OpenAI GPT en rendimiento

Databricks Meta Llama

1 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving
Databricks con el SDK de Python

Endpoints de serving

  • Ya existen para Foundation Models alojados en Databricks
  • Pueden crearse para modelos externos y propios
  • Puedes usar el SDK de Databricks para consultar Foundation Models

Serving Endpoint

1 https://docs.databricks.com/api/workspace/servingendpoints
Databricks con el SDK de Python

API de endpoints de serving

  • Te permite consultar modelos de IA haciendo solicitudes API al Endpoint de Serving correspondiente
  • Se accede vía el atributo serving_endpoints de WorkspaceClient
1 https://docs.databricks.com/api/workspace/servingendpoints
Databricks con el SDK de Python

Roles de mensajes en chat

SYSTEM:

Instrucciones sobre cómo debe responder el modelo

USER:

Consultas que el usuario envía al modelo

Ejemplo de prompt:

"You are a helpful python coding assistant."

Ejemplo de prompt:

"How do for loops work in Python?"

1 https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole
Databricks con el SDK de Python

Consultar modelos de chat con Databricks

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")
1 https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct
Databricks con el SDK de Python

¡Vamos a practicar!

Databricks con el SDK de Python

Preparing Video For Download...