Interroger des modèles d'IA avec Databricks

Databricks avec le SDK Python

Avi Steinberg

Senior Software Engineer

Modèles de base

Image de modèle de base

  • Grands réseaux de neurones préentraînés
  • Entraînés sur de vastes ensembles de données variés
  • Hébergés sur Databricks ou à l'extérieur
1 https://docs.databricks.com/aws/en/machine-learning/model-serving/foundation-model-overview
Databricks avec le SDK Python

Modèles de clavardage populaires

Hébergés à l'extérieur de Databricks :

  • ChatGPT d'OpenAI
  • Claude d'Anthropic
  • Gemini de Google Cloud

OpenAI ChatGPT

Anthropic Claude

Google Gemini

Hébergés sur Databricks :

  • Meta Llama

$$

Databricks Meta Llama

Databricks avec le SDK Python

Databricks Meta Llama

  • Meta s'est associée à Databricks pour héberger Meta Llama sur Databricks
  • Grand modèle de langage (LLM) conçu et entraîné par Meta
  • Performance concurrente de GPT d'OpenAI

Databricks Meta Llama

1 1. https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-3-3-70b-instruct 2. https://www.databricks.com/product/pricing/foundation-model-serving
Databricks avec le SDK Python

Points de terminaison de service

  • Déjà disponibles pour les modèles de base hébergés sur Databricks
  • Peuvent être créés pour des modèles externes ou personnalisés
  • Permettent d'interroger les modèles de base via le SDK Databricks

Point de terminaison de service

1 https://docs.databricks.com/api/workspace/servingendpoints
Databricks avec le SDK Python

API des points de terminaison de service

  • Permettent d'interroger des modèles d'IA via des requêtes API vers le point de terminaison correspondant
  • Accès via l'attribut serving_endpoints de WorkspaceClient
1 https://docs.databricks.com/api/workspace/servingendpoints
Databricks avec le SDK Python

Rôles des messages de clavardage

SYSTEM :

Directives sur la façon dont le modèle doit répondre aux requêtes

USER :

Requêtes envoyées au modèle par l'utilisatrice ou l'utilisateur

Exemple d'invite :

« You are a helpful python coding assistant. »

Exemple d'invite :

« How do for loops work in Python? »

1 https://databricks-sdk-py.readthedocs.io/en/stable/dbdataclasses/serving.html#databricks.sdk.service.serving.ChatMessageRole
Databricks avec le SDK Python

Interroger des modèles de clavardage avec Databricks

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-meta-llama-3-3-70b-instruct",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(role=ChatMessageRole.USER, content="<your-question>"),
    ],
    max_tokens=128)
print(f"RESPONSE:\n{response.choices[0].message.content}")
1 https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models#meta-llama-33-70b-instruct
Databricks avec le SDK Python

Passons à la pratique !

Databricks avec le SDK Python

Preparing Video For Download...