Aperçu global du traitement du langage naturel

Concepts sur les grands modèles de langage (LLM)

Vidhi Chugh

AI strategist and ethicist

Où en sommes-nous ?

Diagramme de progression montrant la première étape, soit le prétraitement du texte

Concepts sur les grands modèles de langage (LLM)

Prétraitement du texte

  • L'ordre peut varier, car elles sont indépendantes

Trois étapes courantes du prétraitement de texte

Concepts sur les grands modèles de langage (LLM)

Tokenisation

  • Scinde le texte en mots, ou jetons

 

  • Texte :

    • "Working with natural language processing techniques is tricky."

     

  • Tokenisation :

    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "tricky", "."]
    • Convertit en liste
Concepts sur les grands modèles de langage (LLM)

Suppression des mots vides

  • Les mots vides n'ajoutent pas de sens
  • Éliminés par suppression des mots vides

 

  • Avant suppression des mots vides :
    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "challenging", "."]

 

  • Après suppression des mots vides :
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
Concepts sur les grands modèles de langage (LLM)

Lemmatisation

 

  • Regroupe des mots proches au sens similaire

 

  • Réduit les mots à leur forme de base

 

  • Mis en correspondance avec le radical

 

  • Talking -> Talk

  • Talked -> Talk

  • Talk -> Talk

Concepts sur les grands modèles de langage (LLM)

Représentation du texte

Diagramme de progression indiquant que nous sommes à l'étape de représentation du texte

Concepts sur les grands modèles de langage (LLM)

Représentation du texte

 

  • Transformer le texte en forme numérique

 

  • Sac de mots
  • Plongements de mots

Image illustrant la parole sous forme de nombres

Concepts sur les grands modèles de langage (LLM)

Sac de mots

 

  • Texte en matrice de décomptes de mots

Une matrice avec une représentation sac de mots

  • 0 indique l'absence d'un mot
Concepts sur les grands modèles de langage (LLM)

Limites du sac de mots

  • Ne tient pas compte de l'ordre ni du contexte

    • Peut mener à de mauvaises interprétations
    • Phrases semblables mais sens opposés
      • "The cat chased the mouse swiftly."
      • "The mouse chased the cat."

  • Ne saisit pas la sémantique entre les mots

    • Traite des mots liés comme indépendants
    • Comme "cat" et "mouse"
Concepts sur les grands modèles de langage (LLM)

Plongements de mots

  • Représentent les sens sémantiques en nombres

 

Cat Mouse
Plant -0.9 -0.8
Furry 0.9 0.7
Carnivore 0.9 -0.8

 

  • Cat [-0.9, 0.9, 0.9]
  • Relation prédateur-proie :

Plongements de mots : relation prédateur-proie

Concepts sur les grands modèles de langage (LLM)

Forme lisible par machine

 

  • Commencer par le prétraitement du texte

Flux de préparation des données

Concepts sur les grands modèles de langage (LLM)

Forme lisible par machine

 

  • Convertir le texte prétraité en format numérique

Flux de préparation des données avec les étapes de représentation du texte

Concepts sur les grands modèles de langage (LLM)

Passons à la pratique !

Concepts sur les grands modèles de langage (LLM)

Preparing Video For Download...