Interroger des modèles d'IA avec Databricks

Databricks avec le SDK Python

Avi Steinberg

Senior Software Engineer

Foundation Models

Image de Foundation Model

  • Grandes réseaux neuronaux préentraînés
  • Entraînés sur de vastes jeux de données variés
  • Hébergés sur ou hors Databricks
1 https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview
Databricks avec le SDK Python

Modèles de complétion de chat populaires

Hébergés hors de Databricks :

  • ChatGPT d'OpenAI
  • Claude d'Anthropic
  • Gemini de Google Cloud

OpenAI ChatGPT

Anthropic Claude

Google Gemini

Hébergés sur Databricks :

  • Meta Llama

$$

Databricks Meta Llama

Databricks avec le SDK Python

Databricks Meta Llama

  • Meta s'est associé à Databricks pour héberger Meta Llama sur Databricks
  • Grand modèle de langage (LLM) conçu et entraîné par Meta
  • Performance comparable à OpenAI GPT

Databricks Meta Llama

1 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving
Databricks avec le SDK Python

Points de terminaison de service

  • Déjà disponibles pour les Foundation Models hébergés sur Databricks
  • Peuvent être créés pour des modèles externes ou personnalisés
  • Permettent d'interroger les Foundation Models via le SDK Databricks

Serving Endpoint

1 https://docs.databricks.com/api/workspace/servingendpoints
Databricks avec le SDK Python

API des points de terminaison de service

  • Permettent d'interroger des modèles d'IA via des requêtes API au point de terminaison associé
  • Accès via l'attribut serving_endpoints de WorkspaceClient
1 https://docs.databricks.com/api/workspace/servingendpoints
Databricks avec le SDK Python

Rôles des messages de chat

SYSTEM :

Consignes sur la façon de répondre

USER :

Questions envoyées par l'utilisateur

Exemple d'invite :

"You are a helpful python coding assistant."

Exemple d'invite :

"How do for loops work in Python?"

1 https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole
Databricks avec le SDK Python

Interroger des modèles de chat avec Databricks

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")
1 https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct
Databricks avec le SDK Python

Passons à la pratique !

Databricks avec le SDK Python

Preparing Video For Download...