LLMOps 개요

LLMOps 개념

Max Knobbout, PhD

Applied Scientist, Uber

이 강의에서 배울 것

 

• LLMOps는 대규모 언어 모델 애플리케이션을 효과적으로 관리, 배포, 운영하도록 돕습니다
• 다룰 내용:
  • 기초
  • LLM 애플리케이션 라이프사이클
  • 과제와 고려사항

¹ Illustrations by Manfred Steger @ Pixabay

LLM 복습

 

 

LLM이란?

• 📚 방대한 텍스트 데이터로 학습
• 🧠 사람과 유사한 텍스트 이해·생성 가능
• 💡 AI의 돌파구

 

 

무엇이 다른가요?

• 🏋 보통 사전 학습됨
• 🐘 매우 많은 파라미터
• 💻 큰 연산 자원 필요
• 🎲 예측 어려움

처음에는...

• 쿼리를 직접 모델에 입력
• 초점은 모델 운영에 있었음
• 데이터는 파인튜닝 시에만 도입됨

... 그리고 현재 모습

• 텍스트 생성 전 조직 데이터를 통합
• 데이터 처리와 조작 단계 포함 가능
• 텍스트/이미지/멀티모달에 맞춘 단일 또는 다중 모델 호출

이 과정 전반에서 이를 LLM 애플리케이션이라 부릅니다

LLMOps가 필요한 이유

 

 

LLMOps가 필요한 이유

 

 

LLMOps가 필요한 이유

 

 

LLMOps vs. MLOps

LLMOps vs. MLOps

차이점:

	LLMOps	MLOps
모델 크기	큼	대체로 작음
데이터	텍스트	모든 데이터
사전 학습 모델	보통 예	보통 아니오
모델 개선	프롬프트 엔지니어링·파인튜닝	피처 엔지니어링·모델 선택
일반화	범용	고정 범위
예측 불가능성	높음	낮음
출력	주로 텍스트	작업별

연습해 봅시다!

LLMOps 개념