Kueri Model Chat Completion

Databricks dengan Python SDK

Avi Steinberg

Senior Software Engineer

Kueri serving endpoint

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(

    name="databricks-meta-llama-3-3-70b-instruct",

    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],

    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://databricks-sdk-py.readthedocs.io/en/stable/workspace/serving/serving_endpoints.html

ChatMessage

Parameter untuk kelas ChatMessage():

ChatMessage:
  content: str
  role: ChatMessageRole

Contoh Chat Message:

ChatMessage(
  role=ChatMessageRole.USER, 
  content="Bisakah Anda meringkas apa yang terjadi pada perang dunia 1?"
)

ChatMessageRole

Kirim ChatMessage dengan peran SYSTEM:

ChatMessage(
  role=ChatMessageRole.SYSTEM,
  content="You are a helpful assistant."
)

Kirim ChatMessage dengan peran USER:

ChatMessage(
  role=ChatMessageRole.USER, 
  content="Bagaimana cara menggunakan for loop di Python?"
)

Kueri model Chat Completion (LLM)

w = WorkspaceClient()
response = w.serving_endpoints.query( # Kueri model AI Meta Llama 3
  name="databricks-meta-llama-3-3-70b-instruct",

  messages=[
        ChatMessage( # Pesan dengan peran "SYSTEM" untuk memengaruhi respons kueri berikutnya
            role=ChatMessageRole.SYSTEM, content=f"You are a helpful assistant. "
        ),

        ChatMessage( # Pesan dengan peran "USER" untuk mengajukan pertanyaan ke model AI
            role=ChatMessageRole.USER, content="Bisakah Anda menjelaskan apa itu deret fibonacci?"
        ),
    ],
  max_tokens=128, # Batasi jumlah kata pada respons model AI
)

# Urai respons model AI dan cetak isinya
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/score-foundation-models

Struktur respons kueri

Urai Respons Kueri Serving Endpoint:

from databricks.sdk import WorkspaceClient
response = w.serving_endpoints.query(
    name="model-name", 
    messages=[...])

print(
f"RESPONSE:\n{response.choices[0].message.content}"
)

RESPONSE:
Deret Fibonacci adalah deretan angka
di mana setiap angka adalah jumlah
dari dua angka sebelumnya, dimulai
dari 0 dan 1. Deretnya dimulai seperti ini:
0, 1, 1, 2, 3, 5, 8, 13, 21, 34,
55, 89, 144...
Untuk menghasilkan angka berikutnya,
tambahkan dua angka sebelumnya. Contoh:
* 0 + 1 = 1
* 1 + 1 = 2
* 1 + 2 = 3

Contoh: ringkas teks

w = WorkspaceClient()
# Kueri model AI Meta Llama 3
response = w.serving_endpoints.query(
  name="databricks-meta-llama-3-3-70b-instruct",

  messages=[
        ChatMessage( 
            # Minta agen AI meringkas teks pada variabel some_long_text
            role=ChatMessageRole.USER, content=f"Ringkas teks pada {some_long_text}"
        ),
    ],

  max_tokens=100, # Batasi respons hingga 100 kata
)

# Cetak respons yang sudah diurai dari model AI
print(f"RESPONSE:\n{response.choices[0].message.content}")

Contoh: buat konten

w = WorkspaceClient()
response = w.serving_endpoints.query(
  name="databricks-meta-llama-3-3-70b-instruct",

  messages=[
    ChatMessage(role=ChatMessageRole.SYSTEM, 
        content=f"Anda penulis bayangan untuk 
        penyanyi country terkenal."
      ),

    ChatMessage(role=ChatMessageRole.USER, 
        content="Tulis lirik lagu country 
        yang berlatar di Mississippi")],
  max_tokens=100) 
print(
f"RESPONSE:\n{response.choices[0].message.content}"
)

RESPONSE:
"Di bawah langit magnolia,
saat Sungai Mississippi mengalir
Aku duduk, memikirkanmu, dengan
Delta blues di jiwaku malam ini
Pohon cemara bergoyang pelan,
dan jangkrik menyanyikan lagu kita
Namun tanpamu, sayang, malam
Mississippi ini tak terasa seperti rumah"

Ayo berlatih!

Databricks dengan Python SDK