Запросы к ИИ-моделям с помощью Databricks

Databricks с Python SDK

Avi Steinberg

Senior Software Engineer

Фундаментальные модели

Изображение фундаментальной модели

Крупные предобученные нейронные сети
Обучены на большом наборе разнообразных данных
Размещены на Databricks или за его пределами

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview

Databricks Meta Llama

Meta и Databricks совместно разместили Meta Llama на платформе Databricks
Большая языковая модель (LLM), созданная и обученная компанией Meta
По производительности сопоставима с OpenAI GPT

Databricks Meta Llama

¹ 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving

Конечные точки обслуживания

Уже созданы для фундаментальных моделей, размещённых на Databricks
Можно создать для внешних и пользовательских моделей
Для запросов к фундаментальным моделям можно использовать Databricks SDK

Serving Endpoint

¹ https://docs.databricks.com/api/workspace/servingendpoints

API конечных точек обслуживания

Позволяет отправлять запросы к ИИ-моделям через API-запросы к соответствующей конечной точке обслуживания
Доступна через атрибут serving_endpoints объекта WorkspaceClient

¹ https://docs.databricks.com/api/workspace/servingendpoints

Роли сообщений в чате

SYSTEM:

Инструкции, определяющие, как модель должна отвечать на запросы

USER:

Запросы, отправляемые пользователем модели

Пример промпта:

"You are a helpful python coding assistant."

Пример промпта:

"How do for loops work in Python?"

¹ https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole

Запросы к чат-моделям с помощью Databricks

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct

Давайте потренируемся!

Databricks с Python SDK

Запросы к ИИ-моделям с помощью Databricks

Фундаментальные модели

Популярные модели завершения диалога

Databricks Meta Llama

Конечные точки обслуживания

API конечных точек обслуживания

Роли сообщений в чате

Запросы к чат-моделям с помощью Databricks

Давайте потренируемся!