Wysyłanie zapytań do modeli AI w Databricks

Databricks z Python SDK

Avi Steinberg

Senior Software Engineer

Modele podstawowe

Obraz modeli podstawowych

Duże, wstępnie wytrenowane sieci neuronowe
Trenowane na szerokim zakresie dużych zbiorów danych
Hostowane w Databricks lub poza nim

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview

Popularne modele do uzupełniania czatu

Hostowane poza Databricks:

OpenAI ChatGPT
Anthropic Claude
Google Cloud Gemini

Anthropic Claude

Google Gemini

Hostowane w Databricks:

Meta Llama

Databricks Meta Llama

Meta nawiązała współpracę z Databricks, aby hostować Meta Llama w Databricks
Duży model językowy (LLM) zbudowany i wytrenowany przez Meta
Wydajnością dorównuje OpenAI GPT

Databricks Meta Llama

¹ 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving

Punkty końcowe obsługi

Istnieją już dla modeli podstawowych hostowanych w Databricks
Można je tworzyć dla modeli zewnętrznych i niestandardowych
Do wysyłania zapytań do modeli podstawowych służy Databricks SDK

Punkt końcowy obsługi

¹ https://docs.databricks.com/api/workspace/servingendpoints

API punktów końcowych obsługi

Umożliwia wysyłanie zapytań do modeli AI przez żądania API do odpowiedniego punktu końcowego obsługi
Dostępny przez atrybut serving_endpoints obiektu WorkspaceClient

¹ https://docs.databricks.com/api/workspace/servingendpoints

Role wiadomości w czacie

SYSTEM:

Instrukcje określające sposób odpowiadania modelu na zapytania

USER:

Zapytania wysyłane do modelu przez użytkownika

Przykładowy prompt:

„You are a helpful python coding assistant."

Przykładowy prompt:

„How do for loops work in Python?"

¹ https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole

Wysyłanie zapytań do modeli czatu przez Databricks

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct

Czas na praktykę!

Databricks z Python SDK