Запити до AI‑моделей у Databricks

Databricks із Python SDK

Avi Steinberg

Senior Software Engineer

Foundation Models

Зображення Foundation Model

Великі попередньо навчені нейромережі
Навчені на широкому спектрі великих наборів даних
Розміщені в Databricks або поза Databricks

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview

Serving endpoints

Уже доступні для Foundation Models, розміщених у Databricks
Можна створювати для зовнішніх і власних моделей
Можна використовувати Databricks SDK для запитів до Foundation Models

Serving Endpoint

¹ https://docs.databricks.com/api/workspace/servingendpoints

Serving endpoints API

Дозволяє виконувати запити до AI‑моделей через API до відповідного Serving Endpoint
Доступ через атрибут serving_endpoints об'єкта WorkspaceClient

¹ https://docs.databricks.com/api/workspace/servingendpoints

Ролі повідомлень у чаті

SYSTEM:

Інструкції, як модель має відповідати на запити

USER:

Запити, які користувач надсилає моделі

Приклад підказки:

"You are a helpful python coding assistant."

Приклад підказки:

"How do for loops work in Python?"

¹ https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole

Запити до чат‑моделей у Databricks

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct

Давайте потренуємось!