Mengkueri model AI dengan Databricks

Databricks dengan Python SDK

Avi Steinberg

Senior Software Engineer

Foundation Models

Gambar Foundation Model

Jaringan saraf besar, pralatih
Dilatih pada beragam dataset besar
Dihost di Databricks atau di luar Databricks

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview

Model chat completion populer

Di-host di luar Databricks:

ChatGPT dari OpenAI
Claude dari Anthropic
Gemini dari Google Cloud

Anthropic Claude

Google Gemini

Di-host di Databricks:

Meta Llama

Databricks Meta Llama

Meta bermitra dengan Databricks untuk menghosting Meta Llama di Databricks
Large Language Model (LLM), dibangun dan dilatih oleh Meta
Bersaing dengan OpenAI GPT dalam kinerja

Databricks Meta Llama

¹ 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving

Serving endpoints

Sudah tersedia untuk Foundation Models yang dihosting di Databricks
Dapat dibuat untuk model eksternal dan kustom
Dapat memakai Databricks SDK untuk mengkueri Foundation Models

Serving Endpoint

¹ https://docs.databricks.com/api/workspace/servingendpoints

Serving endpoints API

Memungkinkan Anda mengkueri model AI lewat permintaan API ke Serving Endpoint terkait
Diakses via atribut serving_endpoints dari WorkspaceClient

¹ https://docs.databricks.com/api/workspace/servingendpoints

Peran pesan chat

SYSTEM:

Instruksi cara model merespons kueri

USER:

Kueri yang dikirim pengguna ke model

Contoh prompt:

"You are a helpful python coding assistant."

Contoh prompt:

"How do for loops work in Python?"

¹ https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole

Mengkueri model chat dengan Databricks

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct

Ayo berlatih!

Databricks dengan Python SDK