Consultando modelos de IA com o Databricks

Databricks com o SDK em Python

Avi Steinberg

Senior Software Engineer

Foundation Models

Imagem de Foundation Model

Grandes redes neurais pré-treinadas
Treinadas em diversos conjuntos de dados grandes
Hospedadas no Databricks ou fora dele

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview

Modelos populares de chat completion

Hospedados fora do Databricks:

ChatGPT da OpenAI
Claude da Anthropic
Gemini do Google Cloud

Anthropic Claude

Google Gemini

Hospedados no Databricks:

Meta Llama

Databricks Meta Llama

A Meta fez parceria com o Databricks para hospedar o Meta Llama no Databricks
Large Language Model (LLM), criado e treinado pela Meta
Competitivo com o OpenAI GPT em desempenho

Databricks Meta Llama

¹ 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving

Endpoints de serving

Já existem para Foundation Models hospedados no Databricks
Podem ser criados para modelos externos e personalizados
Dá para usar o SDK do Databricks para consultar Foundation Models

Serving Endpoint

¹ https://docs.databricks.com/api/workspace/servingendpoints

API de endpoints de serving

Permitem consultar modelos de IA fazendo requisições à API do Endpoint de Serving correspondente
Acessados via o atributo serving_endpoints de WorkspaceClient

¹ https://docs.databricks.com/api/workspace/servingendpoints

Funções nas mensagens do chat

SYSTEM:

Instruções de como o modelo deve responder

USER:

Consultas enviadas ao modelo pelo usuário

Exemplo de prompt:

"You are a helpful python coding assistant."

Exemplo de prompt:

"How do for loops work in Python?"

¹ https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole

Consultando modelos de chat com o Databricks

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct

Vamos praticar!

Databricks com o SDK em Python