Узагальнений огляд NLP

Концепції Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Де ми зараз?

Діаграма прогресу з першим кроком — попередня обробка тексту

Концепції Large Language Models (LLMs)

Попередня обробка тексту

  • Можна виконувати в іншому порядку, бо кроки незалежні

Три найпоширеніші кроки попередньої обробки тексту

Концепції Large Language Models (LLMs)

Токенізація

  • Розбиває текст на окремі слова або токени

 

  • Текст:

    • "Working with natural language processing techniques is tricky."

     

  • Токенізація:

    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "tricky", "."]
    • Перетворює на список
Концепції Large Language Models (LLMs)

Вилучення стоп-слів

  • Стоп-слова не додають змісту
  • Видаляються під час вилучення стоп-слів

 

  • До вилучення стоп-слів:
    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "challenging", "."]

 

  • Після вилучення стоп-слів:
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
Концепції Large Language Models (LLMs)

Лематизація

 

  • Групує трохи різні слова зі схожим значенням

 

  • Зводить слова до базової форми

 

  • Відображає на кореневе слово

 

  • Talking -> Talk

  • Talked -> Talk

  • Talk -> Talk

Концепції Large Language Models (LLMs)

Представлення тексту

Діаграма прогресу показує, що ми дійшли до представлення тексту

Концепції Large Language Models (LLMs)

Представлення тексту

 

  • Перетворення тексту на числову форму

 

  • Bag-of-words
  • Векторні подання слів

Зображення мови у вигляді чисел

Концепції Large Language Models (LLMs)

Bag-of-words

 

  • Текст у матрицю підрахунків слів

Матриця у поданні bag-of-words

  • 0 означає відсутність слова
Концепції Large Language Models (LLMs)

Обмеження bag-of-words

  • Не враховує порядок чи контекст

    • Може спричиняти хибні тлумачення
    • Подібні речення, але протилежний зміст
      • "The cat chased the mouse swiftly."
      • "The mouse chased the cat."

  • Не фіксує семантику між словами

    • Розглядає пов'язані слова як незалежні
    • Наприклад, "cat" і "mouse"
Концепції Large Language Models (LLMs)

Векторні подання слів

  • Кодують семантичні значення у вигляді чисел

 

Cat Mouse
Plant -0.9 -0.8
Furry 0.9 0.7
Carnivore 0.9 -0.8

 

  • Cat [-0.9, 0.9, 0.9]
  • Відношення хижак-жертва:

Векторні подання слів: хижак–жертва

Концепції Large Language Models (LLMs)

Машиночитна форма

 

  • Починайте з попередньої обробки тексту

Робочий процес підготовки даних

Концепції Large Language Models (LLMs)

Машиночитна форма

 

  • Перетворіть попередньо оброблений текст на числовий формат

Підготовка даних із кроками представлення тексту

Концепції Large Language Models (LLMs)

Давайте потренуємось!

Концепції Large Language Models (LLMs)

Preparing Video For Download...