Tổng quan chung về NLP

Các khái niệm về Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Chúng ta đang ở đâu?

Biểu đồ tiến độ cho thấy bước đầu tiên: tiền xử lý văn bản

Các khái niệm về Large Language Models (LLMs)

Tiền xử lý văn bản

  • Có thể làm theo thứ tự khác vì chúng độc lập

Ba bước phổ biến nhất để tiền xử lý văn bản

Các khái niệm về Large Language Models (LLMs)

Tokenization

  • Tách văn bản thành các từ riêng lẻ, hay token

 

  • Văn bản:

    • "Working with natural language processing techniques is tricky."

     

  • Tách từ (tokenization):

    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "tricky", "."]
    • Chuyển thành một danh sách
Các khái niệm về Large Language Models (LLMs)

Loại bỏ stop words

  • Stop words không thêm ý nghĩa
  • Loại bỏ bằng bước loại stop words

 

  • Trước khi loại bỏ:
    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "challenging", "."]

 

  • Sau khi loại bỏ:
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
Các khái niệm về Large Language Models (LLMs)

Lemmatization

 

  • Gom các từ hơi khác nhau nhưng nghĩa gần

 

  • Giảm về dạng gốc

 

  • Ánh xạ về từ gốc

 

  • Talking -> Talk

  • Talked -> Talk

  • Talk -> Talk

Các khái niệm về Large Language Models (LLMs)

Biểu diễn văn bản

Biểu đồ tiến độ cho thấy ta đã đến bước biểu diễn văn bản

Các khái niệm về Large Language Models (LLMs)

Biểu diễn văn bản

 

  • Chuyển văn bản sang dạng số

 

  • Túi từ (bag-of-words)
  • Word embeddings

Hình minh họa lời nói dưới dạng số

Các khái niệm về Large Language Models (LLMs)

Túi từ (Bag-of-words)

 

  • Biến văn bản thành ma trận đếm từ

Ma trận biểu diễn túi từ

  • 0 biểu thị từ vắng mặt
Các khái niệm về Large Language Models (LLMs)

Hạn chế của túi từ

  • Không nắm bắt thứ tự hay ngữ cảnh

    • Dẫn tới diễn giải sai
    • Câu tương tự nhưng nghĩa ngược
      • "The cat chased the mouse swiftly."
      • "The mouse chased the cat."

  • Không nắm bắt ngữ nghĩa giữa các từ

    • Xem các từ liên quan là độc lập
    • Như "cat" và "mouse"
Các khái niệm về Large Language Models (LLMs)

Word embeddings

  • Mã hóa ngữ nghĩa thành các con số

 

Cat Mouse
Plant -0.9 -0.8
Furry 0.9 0.7
Carnivore 0.9 -0.8

 

  • Cat [-0.9, 0.9, 0.9]
  • Quan hệ thú săn mồi–con mồi:

Word embeddings về quan hệ săn mồi

Các khái niệm về Large Language Models (LLMs)

Dạng máy có thể đọc

 

  • Bắt đầu bằng tiền xử lý văn bản

Quy trình chuẩn bị dữ liệu

Các khái niệm về Large Language Models (LLMs)

Dạng máy có thể đọc

 

  • Chuyển văn bản đã tiền xử lý sang dạng số

Quy trình với các bước biểu diễn văn bản

Các khái niệm về Large Language Models (LLMs)

Ayo berlatih!

Các khái niệm về Large Language Models (LLMs)

Preparing Video For Download...