Databricks के साथ AI मॉडलों पर क्वेरी करना

Python SDK के साथ Databricks

Avi Steinberg

Senior Software Engineer

फाउंडेशन मॉडल्स

फाउंडेशन मॉडल छवि

बड़े, प्री-ट्रेंड न्यूरल नेटवर्क
बड़े, विविध डेटासेट्स पर प्रशिक्षित
Databricks पर या बाहर होस्टेड

¹ https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview

सर्विंग एंडपॉइंट्स

Databricks पर होस्टेड फाउंडेशन मॉडल्स के लिए पहले से उपलब्ध
बाहरी और कस्टम मॉडलों के लिए बनाए जा सकते हैं
Databricks SDK से Foundation Models पर क्वेरी कर सकते हैं

सर्विंग एंडपॉइंट

¹ https://docs.databricks.com/api/workspace/servingendpoints

सर्विंग एंडपॉइंट्स API

संबंधित सर्विंग एंडपॉइंट को API रिक्वेस्ट भेजकर आप AI मॉडलों पर क्वेरी चला सकते हैं
WorkspaceClient के serving_endpoints एट्रिब्यूट से एक्सेस किया जाता है

¹ https://docs.databricks.com/api/workspace/servingendpoints

चैट मैसेज रोल्स

SYSTEM:

मॉडल को क्वेरी पर कैसे जवाब देना है, इसकी निर्देशिका

USER:

यूज़र द्वारा मॉडल को भेजी गई क्वेरीज़

उदाहरण प्रॉम्प्ट:

"You are a helpful python coding assistant."

उदाहरण प्रॉम्प्ट:

"How do for loops work in Python?"

¹ https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole

Databricks के साथ चैट मॉडलों पर क्वेरी

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")

¹ https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct

अभ्यास करते हैं!