Înțelegerea transformerului

Introducere în LLM-uri cu Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Ce este un transformer?

  • Arhitecturi de învățare profundă
  • Procesarea, înțelegerea și generarea de text
  • Utilizate în majoritatea LLM-urilor
  • Procesează secvențe lungi în paralel

Ilustrație a trei arhitecturi transformer: encoder-only, decoder-only și encoder-decoder

Introducere în LLM-uri cu Python

Arhitecturi transformer

Ilustrație a trei arhitecturi transformer: encoder-only, decoder-only și encoder-decoder

  • Detaliile arhitecturii se găsesc în fișa modelului pe Hugging Face
Introducere în LLM-uri cu Python

Encoder-only

Ilustrație encoder-only

  • Înțelegerea textului de intrare
  • Fără ieșire secvențială
  • Sarcini frecvente:
    • Clasificare text
    • Analiză de sentiment
    • Răspuns extractiv la întrebări (extragere sau etichetare)
  • Modele BERT
  • Exemplu: "distilbert-base-uncased-distilled-squad"
Introducere în LLM-uri cu Python

Encoder-only

Ilustrație encoder-only

llm = pipeline(model="bert-base-uncased")
print(llm.model)

BertForMaskedLM(
  (bert): ...
    )
    (encoder): BertEncoder(
      ...

print(llm.model.config)

BertConfig {
...
  "architectures": [
    "BertForMaskedLM"
...
Introducere în LLM-uri cu Python

Encoder-only

Ilustrație encoder-only

print(llm.model.config.is_decoder)

False
  • Alternativ: llm.model.config.is_encoder_decoder
Introducere în LLM-uri cu Python

Decoder-only

Ilustrație decoder-only

  • Focusul trece pe ieșire
  • Sarcini frecvente:
    • Generare de text
    • Răspuns generativ la întrebări (propoziție/paragraf)
  • Modele GPT
  • Exemplu: "gpt-5.4-mini"
Introducere în LLM-uri cu Python

Decoder-only

Ilustrație decoder-only

llm = pipeline(model="gpt2")
print(llm.model.config)

GPT2Config {
...
  "architectures": [
    "GPT2LMHeadModel"
  ],
...
  "task_specific_params": {
    "text-generation": {
...

print(llm.model.config.is_decoder)

False
Introducere în LLM-uri cu Python

Encoder-decoder

Ilustrație encoder-decoder

  • Înțelege și procesează intrarea și ieșirea
  • Sarcini frecvente:
    • Traducere
    • Rezumare
  • Modele T5, BART
Introducere în LLM-uri cu Python

Encoder-decoder

Ilustrație encoder-decoder

llm = pipeline(model="Helsinki-NLP/opus-mt-es-en")
print(llm.model)

MarianMTModel(
...
    (encoder): MarianEncoder(
...
    (decoder): MarianDecoder(
...
Introducere în LLM-uri cu Python

Encoder-decoder

Ilustrație encoder-decoder

print(llm.model.config)

MarianConfig {
...
  "decoder_attention_heads": 8,
...
  "encoder_attention_heads": 8,
...
  "is_encoder_decoder": true,
...

print(llm.model.config.is_encoder_decoder)

True
Introducere în LLM-uri cu Python

Să exersăm!

Introducere în LLM-uri cu Python

Preparing Video For Download...