Úlohy generování sekvencí

Zpracování přirozeného jazyka (NLP) v Pythonu

Fouad Trad

Machine Learning Engineer

Generování sekvencí

  • Generuje nový text na základě zadaného vstupu
  • Zahrnuje úlohy jako:
    • Sumarizace textu
    • Překlad textu
    • Jazykové modelování

Animace tužky píšící věty na papír.

Zpracování přirozeného jazyka (NLP) v Pythonu

Sumarizace textu

  • Zkracuje dlouhé dokumenty a vyzdvihuje klíčové informace
  • Využití při práci s:
    • Rozsáhlými novinovými články
    • Vědeckými pracemi
    • Zprávami
    • E-maily

Obrázek znázorňující hromadu knih a vygenerovaný souhrnný dokument.

Zpracování přirozeného jazyka (NLP) v Pythonu

Pipeline pro sumarizaci textu

from transformers import pipeline

summarizer = pipeline(task="summarization", model="cnicu/t5-small-booksum")


text = """The Amazon rainforest, often referred to as the "lungs of the Earth," is one of the most 
biologically diverse regions in the world. Spanning over nine countries in South America, the majority 
of the forest lies in Brazil. It is home to an estimated 390 billion individual trees, divided into 
16,000 different species. The rainforest plays a critical role in regulating the global climate by 
absorbing vast amounts of carbon dioxide and producing oxygen."""


result = summarizer(text)

print(result)

[{'summary_text': 'the Amazon rainforest is one of the most biologically diverse regions in the world. 
The majority of the forest lies in Brazil. The rainforest plays a critical role in regulating the 
global climate by absorbing vast amounts of carbon dioxide and producing oxygen.'}]
Zpracování přirozeného jazyka (NLP) v Pythonu

Překlad textu

  • Převádí text z jednoho jazyka do druhého
  • Klíčové ve vícejazyčných aplikacích:
    • Mezinárodní webové stránky
    • Nástroje zákaznické podpory

Obrázek znázorňující překlad textu z angličtiny (Good morning) do francouzštiny (Bonjour).

Zpracování přirozeného jazyka (NLP) v Pythonu

Pipeline pro překlad textu

translator = pipeline(task="translation", model="Helsinki-NLP/opus-mt-en-fr")


sentence = "The rainforest helps regulate the Earth's climate."

result = translator(sentence)

print(result)

[{'translation_text': 'La forêt tropicale aide à réguler le climat de la Terre.'}]
Zpracování přirozeného jazyka (NLP) v Pythonu

Jazykové modelování

  • Předpovídá následující slova na základě zadaného podnětu
  • Základ mnoha aplikací:
    • Automatické dokončování
    • Generování příběhů
    • Odpovědi chatbota

Obrázek znázorňující fungování jazykového modelování: uživatel zadá podnět a model vygeneruje text.

Zpracování přirozeného jazyka (NLP) v Pythonu

Pipeline pro jazykové modelování

generator = pipeline(task="text-generation", model="distilgpt2")


prompt = "Once upon a time,"

result = generator(prompt, max_length=30, num_return_sequences=3)

print(result)

[{'generated_text': "Once upon a time, my life wasn't so good, I kept my things tidy. The 
                     more time I spend with my children the more ..."}, 
 {'generated_text': 'Once upon a time, we began a process of finding the right answers to 
                     some big questions," said Jim Pelterer, a lecturer at the 
                     University...'}, 
 {'generated_text': 'Once upon a time, a man came along and took in the city, and found out 
                     that a strange woman had just walked in and was dancing about...'}]
Zpracování přirozeného jazyka (NLP) v Pythonu

Pojďme si procvičit!

Zpracování přirozeného jazyka (NLP) v Pythonu

Preparing Video For Download...