자연어 처리 소개

Python으로 배우는 Natural Language Processing (NLP)

Fouad Trad

Machine Learning Engineer

강사를 소개합니다...

 

강사 사진.

 

Fouad Trad

  • 머신러닝 엔지니어
  • 연구원
  • 사이버보안·의료 분야 NLP
Python으로 배우는 Natural Language Processing (NLP)

NLP란?

 

 

  • 언어는 우리의 주요 소통 수단입니다
  • 컴퓨터는 우리의 언어를 이해하지 못합니다

언어가 있는 곳: 책, 웹사이트, 소셜 미디어 게시물, 이메일.

Python으로 배우는 Natural Language Processing (NLP)

NLP란?

컴퓨터가 인간 언어를 분석하도록 합니다

사람이 기계에 말하고, 자연어 처리가 이를 기계가 이해하도록 번역하는 이미지.

Python으로 배우는 Natural Language Processing (NLP)

NLP 워크플로

워크플로의 첫 번째 단계: 원시 텍스트.

  • 원시 텍스트: 트윗부터 책 문단까지 무엇이든
Python으로 배우는 Natural Language Processing (NLP)

NLP 워크플로

워크플로의 두 번째 단계: 전처리

  • 원시 텍스트: 트윗부터 책 문단까지 무엇이든
  • 전처리: 텍스트 정리 및 불필요한 요소 제거
Python으로 배우는 Natural Language Processing (NLP)

NLP 워크플로

워크플로의 세 번째 단계: 특징 추출.

  • 원시 텍스트: 트윗부터 책 문단까지 무엇이든
  • 전처리: 텍스트 정리 및 불필요한 요소 제거
  • 특징 추출: 텍스트를 숫자로 변환
Python으로 배우는 Natural Language Processing (NLP)

NLP 워크플로

워크플로의 네 번째 단계: 모델링

  • 원시 텍스트: 트윗부터 책 문단까지 무엇이든
  • 전처리: 텍스트 정리 및 불필요한 요소 제거
  • 특징 추출: 텍스트를 숫자로 변환
  • 모델: 분석, 예측, 분류, 신규 콘텐츠 생성
Python으로 배우는 Natural Language Processing (NLP)

강의 계획

전체 워크플로 다이어그램: 1장은 NLTK로 전처리를 다룸

Python으로 배우는 Natural Language Processing (NLP)

강의 계획

전체 워크플로 다이어그램: 2장은 scikit-learn과 Gensim으로 특징 추출을 다룸.

Python으로 배우는 Natural Language Processing (NLP)

강의 계획

전체 워크플로 다이어그램: 3·4장은 전처리, 특징 추출, 모델링을 감추는 transformers 파이프라인을 다룸.

Python으로 배우는 Natural Language Processing (NLP)

토크나이즈

  • 텍스트를 토큰(작은 단위)으로 분할

사람이 당근을 써는 이미지

Python으로 배우는 Natural Language Processing (NLP)

문장 토크나이즈

  • 텍스트 → 문장
  • 전체 텍스트 분석보다 더 명확한 통찰 제공
import nltk

nltk.download('punkt_tab')


text = "NLP is fun. Let's dive into it!"

sentences = nltk.sent_tokenize(text)

print(sentences)

["NLP is fun.", "Let's dive into it!"]

번역을 나타내는 아이콘 이미지.

Python으로 배우는 Natural Language Processing (NLP)

단어 토크나이즈

  • 텍스트 → 단어와 구두점
  • 다음 작업에 유용:
    • 핵심 용어 식별
    • 단어 빈도 계산
text = "Claim your free prize now!"

words = nltk.word_tokenize(text)

print(words)

['Claim', 'your', 'free', 'prize', 'now', '!']

스팸 이메일 아이콘 이미지.

Python으로 배우는 Natural Language Processing (NLP)

연습해 봅시다!

Python으로 배우는 Natural Language Processing (NLP)

Preparing Video For Download...