Введение в большие языковые модели (LLM)

Введение в LLM на Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Предыдущие знания

  • Навигация по Hugging Face Hub
  • Модели глубокого обучения

Мультяшный мозг, читающий книгу

Введение в LLM на Python

Введение в LLM

 

Иконка лампочки и мозга, символизирующая понимание

Введение в LLM на Python

Введение в LLM

 

Иллюстрация ноутбука, символизирующая использование

Введение в LLM на Python

Абстрактная иллюстрация большой языковой модели

Введение в LLM на Python

Абстрактная иллюстрация большой языковой модели с пузырём «Резюмирование»

Введение в LLM на Python

Абстрактная иллюстрация большой языковой модели с пузырями «Резюмирование» и «Генерация»

Введение в LLM на Python

Абстрактная иллюстрация большой языковой модели с пузырями «Резюмирование», «Генерация» и «Перевод»

Введение в LLM на Python

Абстрактная иллюстрация большой языковой модели с пузырями «Резюмирование», «Генерация», «Перевод» и «Вопрос-ответ»

Логотипы LLM

Введение в LLM на Python

LLM

 

  • Основаны на архитектурах глубокого обучения

 

  • Чаще всего — трансформеры

 

  • Огромные нейронные сети с большим числом параметров и объёмом текстовых данных

Логотип Hugging Face

Введение в LLM на Python

Использование моделей Hugging Face

from transformers import pipeline


summarizer = pipeline(task="summarization", model="facebook/bart-large-cnn")


text = "Walking amid Gion's Machiya wooden houses is a mesmerizing experience. The 
beautifully preserved structures exuded an old-world charm that transports visitors
back in time, making them feel like they had stepped into a living museum. The glow of 
lanterns lining the narrow streets add to the enchanting ambiance, making each stroll a
memorable journey through Japan's rich cultural history."

summary = summarizer(text, max_length=50)
  • clean_up_tokenization_spaces=True: удалить лишние пробелы
Введение в LLM на Python

Вывод модели

print(summary)

[{'summary_text': "Gion's Machiya
  wooden houses exuded an old-world 
  charm that transports visitors back 
  in time. The glow of lanterns lining 
  the narrow streets add to the 
  enchanting ambiance, making each 
  stroll a memorable journey through 
  Japan's"}]

print(summary[0]["summary_text"])

Gion's Machiya wooden houses exuded an 
old-world charm that transports 
visitors back in time. The glow of 
lanterns lining the narrow streets add 
to the enchanting ambiance, making each 
stroll a memorable journey through 
Japan's
Введение в LLM на Python

Что дальше

 

  • Опираться на существующие знания об LLM
  • Решать новые задачи
  • Понять устройство LLM
  • Дообучать LLM
  • Оценивать качество LLM

Траектория обучения

Введение в LLM на Python

Давайте потренируемся!

Введение в LLM на Python

Preparing Video For Download...