Porozumění transformeru

Úvod do LLMs v Pythonu

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Co je transformer?

  • Architektury hlubokého učení
  • Zpracování, porozumění a generování textu
  • Používány ve většině LLM
  • Zpracovávají dlouhé sekvence textu paralelně

Ilustrace tří architektur transformeru: pouze enkodér, pouze dekodér a enkodér-dekodér

Úvod do LLMs v Pythonu

Architektury transformeru

Ilustrace tří architektur transformeru: pouze enkodér, pouze dekodér a enkodér-dekodér

  • Detaily architektury najdete v kartě modelu na Hugging Face
Úvod do LLMs v Pythonu

Pouze enkodér

Ilustrace enkodéru

  • Porozumění vstupnímu textu
  • Žádný sekvenční výstup
  • Běžné úlohy:
    • Klasifikace textu
    • Analýza sentimentu
    • Extraktivní zodpovídání otázek (extrakce nebo označení)
  • Modely BERT
  • Příklad: "distilbert-base-uncased-distilled-squad"
Úvod do LLMs v Pythonu

Pouze enkodér

Ilustrace enkodéru

llm = pipeline(model="bert-base-uncased")
print(llm.model)

BertForMaskedLM(
  (bert): ...
    )
    (encoder): BertEncoder(
      ...

print(llm.model.config)

BertConfig {
...
  "architectures": [
    "BertForMaskedLM"
...
Úvod do LLMs v Pythonu

Pouze enkodér

Ilustrace enkodéru

print(llm.model.config.is_decoder)

False
  • Alternativně: llm.model.config.is_encoder_decoder
Úvod do LLMs v Pythonu

Pouze dekodér

Ilustrace dekodéru

  • Důraz na výstup
  • Běžné úlohy:
    • Generování textu
    • Generativní zodpovídání otázek (věty nebo odstavce)
  • Modely GPT
  • Příklad: "gpt-5.4-mini"
Úvod do LLMs v Pythonu

Pouze dekodér

Ilustrace dekodéru

llm = pipeline(model="gpt2")
print(llm.model.config)

GPT2Config {
...
  "architectures": [
    "GPT2LMHeadModel"
  ],
...
  "task_specific_params": {
    "text-generation": {
...

print(llm.model.config.is_decoder)

False
Úvod do LLMs v Pythonu

Enkodér-dekodér

Ilustrace enkodéru-dekodéru

  • Porozumění a zpracování vstupu i výstupu
  • Běžné úlohy:
    • Překlad
    • Sumarizace
  • Modely T5, BART
Úvod do LLMs v Pythonu

Enkodér-dekodér

Ilustrace enkodéru-dekodéru

llm = pipeline(model="Helsinki-NLP/opus-mt-es-en")
print(llm.model)

MarianMTModel(
...
    (encoder): MarianEncoder(
...
    (decoder): MarianDecoder(
...
Úvod do LLMs v Pythonu

Enkodér-dekodér

Ilustrace enkodéru-dekodéru

print(llm.model.config)

MarianConfig {
...
  "decoder_attention_heads": 8,
...
  "encoder_attention_heads": 8,
...
  "is_encoder_decoder": true,
...

print(llm.model.config.is_encoder_decoder)

True
Úvod do LLMs v Pythonu

Pojďme procvičovat!

Úvod do LLMs v Pythonu

Preparing Video For Download...