Interrogare modelli AI con Databricks

Databricks con il Python SDK

Avi Steinberg

Senior Software Engineer

Foundation Models

Immagine Foundation Model

Grandi reti neurali pre-addestrate
Addestrate su ampi insiemi di dati eterogenei
Ospitate su Databricks o all'esterno

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview

Modelli di chat completion popolari

Ospitati fuori da Databricks:

ChatGPT di OpenAI
Claude di Anthropic
Gemini di Google Cloud

Anthropic Claude

Google Gemini

Ospitati su Databricks:

Meta Llama

Databricks Meta Llama

Meta ha collaborato con Databricks per ospitare Meta Llama su Databricks
Large Language Model (LLM) creato e addestrato da Meta
Competitivo con OpenAI GPT in termini di prestazioni

Databricks Meta Llama

¹ 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving

Serving endpoints

Esistono già per i Foundation Models ospitati su Databricks
Possono essere creati per modelli esterni e personalizzati
Puoi usare il Databricks SDK per interrogare i Foundation Models

Serving Endpoint

¹ https://docs.databricks.com/api/workspace/servingendpoints

Serving endpoints API

Ti permettono di interrogare modelli AI inviando richieste API al relativo Serving Endpoint
Accesso tramite l'attributo serving_endpoints di WorkspaceClient

¹ https://docs.databricks.com/api/workspace/servingendpoints

Ruoli dei messaggi in chat

SYSTEM:

Istruzioni su come il modello deve rispondere

USER:

Domande inviate dall'utente al modello

Esempio di prompt:

"You are a helpful python coding assistant."

Esempio di prompt:

"How do for loops work in Python?"

¹ https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole

Interrogare modelli chat con Databricks

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct

Passiamo alla pratica!

Databricks con il Python SDK