使用 Databricks 查詢 AI 模型

使用 Python SDK 的 Databricks

Avi Steinberg

Senior Software Engineer

基礎模型（Foundation Models）

基礎模型示意圖

大型、預先訓練的神經網路
以多元且龐大的資料集訓練
部署於 Databricks 或外部平台

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview

常見對話補全模型

部署於 Databricks 之外：

OpenAI 的 ChatGPT
Anthropic 的 Claude
Google Cloud 的 Gemini

Anthropic Claude

Google Gemini

部署於 Databricks：

Meta Llama

Databricks Meta Llama

Meta 與 Databricks 合作，於 Databricks 部署 Meta Llama
由 Meta 構建並訓練的大型語言模型（LLM）
表現與 OpenAI GPT 具競爭力

Databricks Meta Llama

¹ 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving

服務端點（Serving endpoints）

Databricks 上的基礎模型已有可用端點
也可為外部與自訂模型建立端點
可用 Databricks SDK 查詢基礎模型

服務端點

¹ https://docs.databricks.com/api/workspace/servingendpoints

服務端點 API

讓你可對應的服務端點發出 API 請求，以查詢 AI 模型
透過 WorkspaceClient 的 serving_endpoints 屬性存取

¹ https://docs.databricks.com/api/workspace/servingendpoints

對話訊息角色

SYSTEM：

模型應如何回應查詢的指示

USER：

使用者送給模型的查詢

範例提示：

"You are a helpful python coding assistant."

範例提示：

"How do for loops work in Python?"

¹ https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole

使用 Databricks 查詢對話模型

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct

一起來練習吧！

使用 Python SDK 的 Databricks