Félicitations !

Travailler avec Llama 3

Imtihan Ahmed

Machine Learning Engineer

Récapitulons

Étape 1 - exécuter Llama en local

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")
Travailler avec Llama 3

Récapitulons

Étape 2 - ajuster les paramètres

$$

  • Paramètres temperature, top_k, top_p
Travailler avec Llama 3

Récapitulons

Étape 3 - attribuer des rôles

message_list = [{"role": "system", "content": system_message},
               {"role": "user", "content": user_message}]
Travailler avec Llama 3

Récapitulons

Étape 4 - guider les sorties

  • Prompts précis
  • Mots stop
  • Zero-shot/Few-shot prompting
Travailler avec Llama 3

Récapitulons

Étape 5 - explorer les réponses JSON $$

response_format = {"type": "json_object"}
Travailler avec Llama 3

Récapitulons

Étape 6 - créer des conversations multi-tours

  • Classe Conversation
  • Méthode .create_completion()
Travailler avec Llama 3

Et ensuite ?

Travailler avec Llama 3

Merci !

Travailler avec Llama 3

Preparing Video For Download...