대규모 언어 모델(LLM) 소개

Python으로 배우는 LLM 입문

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

사전 지식

Hugging Face Hub 탐색
딥러닝 모델

이해를 나타내는 전구와 뇌 아이콘

LLM 소개

이해를 나타내는 전구와 뇌 아이콘

LLM 소개

사용을 나타내는 노트북 일러스트

대규모 언어 모델의 추상 일러스트

요약을 표시한 대규모 언어 모델의 추상 일러스트

요약·생성을 표시한 대규모 언어 모델의 추상 일러스트

요약·생성·번역을 표시한 대규모 언어 모델의 추상 일러스트

요약·생성·번역·Q&A를 표시한 대규모 언어 모델의 추상 일러스트

LLM 로고

LLM

딥러닝 아키텍처 기반

가장 흔한 것은 트랜스포머

방대한 매개변수와 텍스트 데이터의 거대 신경망

Hugging Face 모델 사용

from transformers import pipeline


summarizer = pipeline(task="summarization", model="facebook/bart-large-cnn")


text = "Walking amid Gion's Machiya wooden houses is a mesmerizing experience. The 
beautifully preserved structures exuded an old-world charm that transports visitors
back in time, making them feel like they had stepped into a living museum. The glow of 
lanterns lining the narrow streets add to the enchanting ambiance, making each stroll a
memorable journey through Japan's rich cultural history."

summary = summarizer(text, max_length=50)

clean_up_tokenization_spaces=True: 불필요한 공백 제거

모델 출력

print(summary)

[{'summary_text': "Gion's Machiya
  wooden houses exuded an old-world 
  charm that transports visitors back 
  in time. The glow of lanterns lining 
  the narrow streets add to the 
  enchanting ambiance, making each 
  stroll a memorable journey through 
  Japan's"}]

print(summary[0]["summary_text"])

Gion's Machiya wooden houses exuded an 
old-world charm that transports 
visitors back in time. The glow of 
lanterns lining the narrow streets add 
to the enchanting ambiance, making each 
stroll a memorable journey through 
Japan's

다음 단계

LLM 지식 확장
새로운 작업 수행
LLM 구조 이해
LLM 파인튜닝
LLM 성능 평가

학습 경로

연습해 봅시다!

Python으로 배우는 LLM 입문