Databricks ile AI modellerini sorgulama

Python SDK ile Databricks

Avi Steinberg

Senior Software Engineer

Foundation Modelleri

Foundation Model görseli

Büyük, önceden eğitilmiş sinir ağları
Geniş, büyük veri kümelerinde eğitilir
Databricks içinde veya dışında barındırılır

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview

Popüler sohbet tamamlama modelleri

Databricks dışında barındırılanlar:

OpenAI ChatGPT
Anthropic Claude
Google Cloud Gemini

Anthropic Claude

Google Gemini

Databricks üzerinde barındırılanlar:

Meta Llama

Databricks Meta Llama

Meta, Meta Llama'yı Databricks'te barındırmak için Databricks ile ortaklık yaptı
Meta tarafından oluşturulan ve eğitilen Büyük Dil Modeli (LLM)
Performans açısından OpenAI GPT ile rekabetçi

Databricks Meta Llama

¹ 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving

Serving endpoint'leri

Databricks'te barındırılan Foundation modelleri için hazırdır
Harici ve özel modeller için de oluşturulabilir
Foundation Modelleri sorgulamak için Databricks SDK kullanılabilir

Serving Endpoint

¹ https://docs.databricks.com/api/workspace/servingendpoints

Serving endpoints API'si

İlgili Serving Endpoint'e API isteği yaparak AI modellerini sorgulamanızı sağlar
WorkspaceClientın serving_endpoints özniteliği üzerinden erişilir

¹ https://docs.databricks.com/api/workspace/servingendpoints

Sohbet mesajı rolleri

SYSTEM:

Modelin sorgulara nasıl yanıt vereceğine dair yönergeler

USER:

Kullanıcının modele gönderdiği sorgular

Örnek istem:

"Yardımcı bir Python kodlama asistanısın."

Örnek istem:

"Python'da for döngüleri nasıl çalışır?"

¹ https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole

Databricks ile sohbet modellerini sorgulama

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct

Hadi pratik yapalım!

Python SDK ile Databricks