Dotazování AI modelů s Databricks

Databricks with the Python SDK

Avi Steinberg

Senior Software Engineer

Základní modely

Obrázek základního modelu

Velké předtrénované neuronové sítě
Trénovány na rozsáhlých a různorodých datových sadách
Hostovány na Databricks nebo mimo Databricks

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview

Oblíbené modely pro dokončování chatu

Hostováno mimo Databricks:

OpenAI ChatGPT
Anthropic Claude
Google Cloud Gemini

Anthropic Claude

Google Gemini

Hostováno na Databricks:

Meta Llama

Databricks Meta Llama

Meta spolupracuje s Databricks na hostování Meta Llama
Velký jazykový model (LLM) vytvořený a trénovaný společností Meta
Výkonnostně srovnatelný s OpenAI GPT

Databricks Meta Llama

¹ 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving

Obslužné endpointy

Existují již pro základní modely hostované na Databricks
Lze je vytvořit pro externí a vlastní modely
K dotazování základních modelů lze použít Databricks SDK

Obslužný endpoint

¹ https://docs.databricks.com/api/workspace/servingendpoints

API obslužných endpointů

Umožňuje dotazovat AI modely prostřednictvím API požadavků na příslušný obslužný endpoint
Přístupné přes atribut serving_endpoints objektu WorkspaceClient

¹ https://docs.databricks.com/api/workspace/servingendpoints

Role zpráv v chatu

SYSTEM:

Instrukce, jak má model reagovat na dotazy

USER:

Dotazy zasílané modelu uživatelem

Příklad promptu:

"You are a helpful python coding assistant."

Příklad promptu:

"How do for loops work in Python?"

¹ https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole

Dotazování chatovacích modelů s Databricks

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct

Pojďme si procvičit!

Databricks with the Python SDK