Comprendre le transformeur

Introduction aux LLM avec Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Qu'est-ce qu'un transformeur ?

  • Architectures d'apprentissage profond
  • Traitement, compréhension et génération de texte
  • Utilisées dans la plupart des LLM
  • Gèrent de longues séquences en parallèle

Illustration de trois architectures de transformeurs : encodeur seul, décodeur seul et encodeur-décodeur

Introduction aux LLM avec Python

Architectures de transformeurs

Illustration de trois architectures de transformeurs : encodeur seul, décodeur seul et encodeur-décodeur

  • Trouvez les détails d'architecture dans la fiche de modèle Hugging Face
Introduction aux LLM avec Python

Encodeur seul

Illustration : encodeur seul

  • Comprendre le texte d'entrée
  • Pas de sortie séquentielle
  • Tâches courantes :
    • Classification de texte
    • Analyse de sentiment
    • Questions-réponses extractives (extraire ou étiqueter)
  • Modèles BERT
  • Exemple : "distilbert-base-uncased-distilled-squad"
Introduction aux LLM avec Python

Encodeur seul

Illustration : encodeur seul

llm = pipeline(model="bert-base-uncased")
print(llm.model)

BertForMaskedLM(
  (bert): ...
    )
    (encoder): BertEncoder(
      ...

print(llm.model.config)

BertConfig {
...
  "architectures": [
    "BertForMaskedLM"
...
Introduction aux LLM avec Python

Encodeur seul

Illustration : encodeur seul

print(llm.model.config.is_decoder)

False
  • Autre option : llm.model.config.is_encoder_decoder
Introduction aux LLM avec Python

Décodeur seul

Illustration : décodeur seul

  • L'accent passe à la sortie
  • Tâches courantes :
    • Génération de texte
    • Questions-réponses génératives (phrase(s) ou paragraphe(s))
  • Modèles GPT
  • Exemple : "gpt-5.4-mini"
Introduction aux LLM avec Python

Décodeur seul

Illustration : décodeur seul

llm = pipeline(model="gpt2")
print(llm.model.config)

GPT2Config {
...
  "architectures": [
    "GPT2LMHeadModel"
  ],
...
  "task_specific_params": {
    "text-generation": {
...

print(llm.model.config.is_decoder)

False
Introduction aux LLM avec Python

Encodeur-décodeur

Illustration : encodeur-décodeur

  • Comprendre et traiter l'entrée et la sortie
  • Tâches courantes :
    • Traduction
    • Résumé automatique
  • Modèles T5, BART
Introduction aux LLM avec Python

Encodeur-décodeur

Illustration : encodeur-décodeur

llm = pipeline(model="Helsinki-NLP/opus-mt-es-en")
print(llm.model)

MarianMTModel(
...
    (encoder): MarianEncoder(
...
    (decoder): MarianDecoder(
...
Introduction aux LLM avec Python

Encodeur-décodeur

Illustration : encodeur-décodeur

print(llm.model.config)

MarianConfig {
...
  "decoder_attention_heads": 8,
...
  "encoder_attention_heads": 8,
...
  "is_encoder_decoder": true,
...

print(llm.model.config.is_encoder_decoder)

True
Introduction aux LLM avec Python

Passons à la pratique !

Introduction aux LLM avec Python

Preparing Video For Download...