Розуміння трансформера

Вступ до LLM у Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Що таке трансформер?

  • Архітектури глибокого навчання
  • Обробка, розуміння й генерування тексту
  • Використовуються в більшості LLM
  • Паралельно обробляють довгі послідовності тексту

Ілюстрація трьох архітектур трансформера: лише енкодер, лише декодер, енкодер–декодер

Вступ до LLM у Python

Архітектури трансформерів

Ілюстрація трьох архітектур трансформера: лише енкодер, лише декодер, енкодер–декодер

  • Знайдіть деталі архітектури в картці моделі Hugging Face
Вступ до LLM у Python

Лише енкодер

Ілюстрація лише енкодера

  • Розуміє вхідний текст
  • Немає послідовного виходу
  • Типові завдання:
    • Класифікація тексту
    • Аналіз настроїв
    • Екстрактивне запитання–відповідь (витяг або мітка)
  • Моделі BERT
  • Приклад: "distilbert-base-uncased-distilled-squad"
Вступ до LLM у Python

Лише енкодер

Ілюстрація лише енкодера

llm = pipeline(model="bert-base-uncased")
print(llm.model)

BertForMaskedLM(
  (bert): ...
    )
    (encoder): BertEncoder(
      ...

print(llm.model.config)

BertConfig {
...
  "architectures": [
    "BertForMaskedLM"
...
Вступ до LLM у Python

Лише енкодер

Ілюстрація лише енкодера

print(llm.model.config.is_decoder)

False
  • Або: llm.model.config.is_encoder_decoder
Вступ до LLM у Python

Лише декодер

Ілюстрація лише декодера

  • Акцент на вихід
  • Типові завдання:
    • Генерування тексту
    • Генеративне запитання–відповідь (речення або абзаци)
  • Моделі GPT
  • Приклад: "gpt-5.4-mini"
Вступ до LLM у Python

Лише декодер

Ілюстрація лише декодера

llm = pipeline(model="gpt2")
print(llm.model.config)

GPT2Config {
...
  "architectures": [
    "GPT2LMHeadModel"
  ],
...
  "task_specific_params": {
    "text-generation": {
...

print(llm.model.config.is_decoder)

False
Вступ до LLM у Python

Енкодер–декодер

Ілюстрація енкодера–декодера

  • Розуміє й обробляє вхід і вихід
  • Типові завдання:
    • Переклад
    • Резюмування
  • Моделі T5, BART
Вступ до LLM у Python

Енкодер–декодер

Ілюстрація енкодера–декодера

llm = pipeline(model="Helsinki-NLP/opus-mt-es-en")
print(llm.model)

MarianMTModel(
...
    (encoder): MarianEncoder(
...
    (decoder): MarianDecoder(
...
Вступ до LLM у Python

Енкодер–декодер

Ілюстрація енкодера–декодера

print(llm.model.config)

MarianConfig {
...
  "decoder_attention_heads": 8,
...
  "encoder_attention_heads": 8,
...
  "is_encoder_decoder": true,
...

print(llm.model.config.is_encoder_decoder)

True
Вступ до LLM у Python

Давайте потренуємось!

Вступ до LLM у Python

Preparing Video For Download...