축하합니다!

Llama 3 다루기

Imtihan Ahmed

Machine Learning Engineer

복습합시다

단계 1 - 로컬에서 Llama 실행

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")
Llama 3 다루기

복습합시다

단계 2 - 파라미터 조정

$$

  • temperature, top_k, top_p 파라미터
Llama 3 다루기

복습합시다

단계 3 - 역할 지정

message_list = [{"role": "system", "content": system_message},
               {"role": "user", "content": user_message}]
Llama 3 다루기

복습합시다

단계 4 - 출력 유도

  • 정확한 프롬프트
  • stop 단어
  • 제로샷/퓨샷 프롬프트
Llama 3 다루기

복습합시다

단계 5 - JSON 응답 활용 $$

response_format = {"type": "json_object"}
Llama 3 다루기

복습합시다

단계 6 - 다중 턴 대화 구축

  • Conversation 클래스
  • .create_completion() 메서드
Llama 3 다루기

다음 단계는?

Llama 3 다루기

감사합니다!

Llama 3 다루기

Preparing Video For Download...