Czym jest transformer?

Wprowadzenie do LLM w Pythonie

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Czym jest transformer?

  • Architektury głębokiego uczenia
  • Przetwarzanie, rozumienie i generowanie tekstu
  • Stosowane w większości LLM
  • Przetwarzają długie sekwencje tekstu równolegle

Ilustracja trzech architektur transformera: tylko koder, tylko dekoder oraz koder-dekoder

Wprowadzenie do LLM w Pythonie

Architektury transformera

Ilustracja trzech architektur transformera: tylko koder, tylko dekoder oraz koder-dekoder

  • Szczegóły architektury znajdziesz w karcie modelu Hugging Face
Wprowadzenie do LLM w Pythonie

Tylko koder

Ilustracja kodera

  • Rozumienie tekstu wejściowego
  • Brak sekwencyjnego wyjścia
  • Typowe zadania:
    • Klasyfikacja tekstu
    • Analiza sentymentu
    • Ekstrakcyjne pytania i odpowiedzi (ekstrakcja lub etykietowanie)
  • Modele BERT
  • Przykład: "distilbert-base-uncased-distilled-squad"
Wprowadzenie do LLM w Pythonie

Tylko koder

Ilustracja kodera

llm = pipeline(model="bert-base-uncased")
print(llm.model)

BertForMaskedLM(
  (bert): ...
    )
    (encoder): BertEncoder(
      ...

print(llm.model.config)

BertConfig {
...
  "architectures": [
    "BertForMaskedLM"
...
Wprowadzenie do LLM w Pythonie

Tylko koder

Ilustracja kodera

print(llm.model.config.is_decoder)

False
  • Alternatywnie: llm.model.config.is_encoder_decoder
Wprowadzenie do LLM w Pythonie

Tylko dekoder

Ilustracja dekodera

  • Nacisk na dane wyjściowe
  • Typowe zadania:
    • Generowanie tekstu
    • Generatywne pytania i odpowiedzi (jedno lub kilka zdań)
  • Modele GPT
  • Przykład: "gpt-5.4-mini"
Wprowadzenie do LLM w Pythonie

Tylko dekoder

Ilustracja dekodera

llm = pipeline(model="gpt2")
print(llm.model.config)

GPT2Config {
...
  "architectures": [
    "GPT2LMHeadModel"
  ],
...
  "task_specific_params": {
    "text-generation": {
...

print(llm.model.config.is_decoder)

False
Wprowadzenie do LLM w Pythonie

Koder-dekoder

Ilustracja kodera-dekodera

  • Rozumie i przetwarza zarówno wejście, jak i wyjście
  • Typowe zadania:
    • Tłumaczenie
    • Streszczanie
  • Modele T5, BART
Wprowadzenie do LLM w Pythonie

Koder-dekoder

Ilustracja kodera-dekodera

llm = pipeline(model="Helsinki-NLP/opus-mt-es-en")
print(llm.model)

MarianMTModel(
...
    (encoder): MarianEncoder(
...
    (decoder): MarianDecoder(
...
Wprowadzenie do LLM w Pythonie

Koder-dekoder

Ilustracja kodera-dekodera

print(llm.model.config)

MarianConfig {
...
  "decoder_attention_heads": 8,
...
  "encoder_attention_heads": 8,
...
  "is_encoder_decoder": true,
...

print(llm.model.config.is_encoder_decoder)

True
Wprowadzenie do LLM w Pythonie

Czas na praktykę!

Wprowadzenie do LLM w Pythonie

Preparing Video For Download...