Abfragen von KI‑Modellen mit Databricks

Databricks mit dem Python-SDK

Avi Steinberg

Senior Software Engineer

Foundation‑Modelle

Abbildung Foundation Model

Große, vortrainierte neuronale Netze
Auf vielen, umfangreichen Datensätzen trainiert
Gehostet auf oder außerhalb von Databricks

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview

Beliebte Chat‑Completion‑Modelle

Außerhalb von Databricks gehostet:

OpenAIs ChatGPT
Anthropics Claude
Google Clouds Gemini

Anthropic Claude

Google Gemini

Auf Databricks gehostet:

Meta Llama

Databricks Meta Llama

Meta arbeitet mit Databricks zusammen, um Meta Llama auf Databricks zu hosten
Großes Sprachmodell (LLM), von Meta entwickelt und trainiert
Leistet ähnlich viel wie OpenAI GPT

Databricks Meta Llama

¹ 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving

Serving Endpoints

Bereits vorhanden für Foundation-Modelle auf Databricks
Erstellbar für externe und eigene Modelle
Foundation-Modelle lassen sich über das Databricks SDK abfragen

Serving Endpoint

¹ https://docs.databricks.com/api/workspace/servingendpoints

Serving Endpoints API

Erlaubt das Abfragen von KI‑Modellen per API‑Requests an den zugehörigen Serving Endpoint
Zugriff über das Attribut serving_endpoints des WorkspaceClient

¹ https://docs.databricks.com/api/workspace/servingendpoints

Chat‑Nachrichtenrollen

SYSTEM:

Anweisungen, wie das Modell antworten soll

USER:

Anfragen, die der/die Nutzer:in sendet

Beispiel‑Prompt:

"You are a helpful python coding assistant."

Beispiel‑Prompt:

"How do for loops work in Python?"

¹ https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole

Chat‑Modelle mit Databricks abfragen

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct

Lass uns üben!

Databricks mit dem Python-SDK