Fråga AI-modeller med Databricks

Databricks med Python SDK

Avi Steinberg

Senior Software Engineer

Foundation Models

Bild på Foundation Model

Stora, förtränade neurala nätverk
Tränade på ett brett urval av stora datamängder
Tillhandahålls via Databricks eller externt

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview

Populära chattmodeller

Tillhandahålls externt:

OpenAI:s ChatGPT
Anthropics Claude
Google Clouds Gemini

Anthropic Claude

Google Gemini

Tillhandahålls via Databricks:

Meta Llama

Databricks Meta Llama

Meta samarbetade med Databricks för att tillhandahålla Meta Llama via Databricks
En stor språkmodell (LLM), byggd och tränad av Meta
Prestanda i nivå med OpenAI GPT

Databricks Meta Llama

¹ 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving

Serving endpoints

Finns redan för Foundation Models som tillhandahålls via Databricks
Kan skapas för externa och anpassade modeller
Databricks SDK kan användas för att fråga Foundation Models

Serving Endpoint

¹ https://docs.databricks.com/api/workspace/servingendpoints

Serving endpoints API

Gör det möjligt att fråga AI-modeller via API-anrop till motsvarande Serving Endpoint
Nås via attributet serving_endpoints i WorkspaceClient

¹ https://docs.databricks.com/api/workspace/servingendpoints

Roller för chattmeddelanden

SYSTEM:

Instruktioner för hur modellen ska svara på frågor

USER:

Frågor som användaren skickar till modellen

Exempelprompt:

"You are a helpful python coding assistant."

Exempelprompt:

"How do for loops work in Python?"

¹ https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole

Fråga chattmodeller med Databricks

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct

Nu kör vi en övning!

Databricks med Python SDK