Wprowadzenie do dużych modeli językowych (LLM)

Wprowadzenie do LLM w Pythonie

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Wymagana wiedza

  • Nawigacja po Hugging Face Hub
  • Modele głębokiego uczenia

Kreskówkowy mózg czytający książkę

Wprowadzenie do LLM w Pythonie

Wprowadzenie do LLM

 

Ikona żarówki i mózgu symbolizująca rozumienie

Wprowadzenie do LLM w Pythonie

Wprowadzenie do LLM

 

Ilustracja laptopa symbolizująca użytkowanie

Wprowadzenie do LLM w Pythonie

Abstrakcyjna ilustracja dużego modelu językowego

Wprowadzenie do LLM w Pythonie

Abstrakcyjna ilustracja dużego modelu językowego z bąbelkiem „podsumuj"

Wprowadzenie do LLM w Pythonie

Abstrakcyjna ilustracja dużego modelu językowego z bąbelkami „podsumuj" i „generuj"

Wprowadzenie do LLM w Pythonie

Abstrakcyjna ilustracja dużego modelu językowego z bąbelkami „podsumuj", „generuj" i „przetłumacz"

Wprowadzenie do LLM w Pythonie

Abstrakcyjna ilustracja dużego modelu językowego z bąbelkami „podsumuj", „generuj", „przetłumacz" i „Q&A"

Logo LLM

Wprowadzenie do LLM w Pythonie

LLM

 

  • Oparte na architekturach głębokiego uczenia

 

  • Najczęściej transformery

 

  • Rozbudowane sieci neuronowe z dużą liczbą parametrów i danych tekstowych

Logo Hugging Face

Wprowadzenie do LLM w Pythonie

Korzystanie z modeli Hugging Face

from transformers import pipeline


summarizer = pipeline(task="summarization", model="facebook/bart-large-cnn")


text = "Walking amid Gion's Machiya wooden houses is a mesmerizing experience. The 
beautifully preserved structures exuded an old-world charm that transports visitors
back in time, making them feel like they had stepped into a living museum. The glow of 
lanterns lining the narrow streets add to the enchanting ambiance, making each stroll a
memorable journey through Japan's rich cultural history."

summary = summarizer(text, max_length=50)
  • clean_up_tokenization_spaces=True: usuwa zbędne białe znaki
Wprowadzenie do LLM w Pythonie

Wyniki modelu

print(summary)

[{'summary_text': "Gion's Machiya
  wooden houses exuded an old-world 
  charm that transports visitors back 
  in time. The glow of lanterns lining 
  the narrow streets add to the 
  enchanting ambiance, making each 
  stroll a memorable journey through 
  Japan's"}]

print(summary[0]["summary_text"])

Gion's Machiya wooden houses exuded an 
old-world charm that transports 
visitors back in time. The glow of 
lanterns lining the narrow streets add 
to the enchanting ambiance, making each 
stroll a memorable journey through 
Japan's
Wprowadzenie do LLM w Pythonie

Co dalej

 

  • Rozbudowanie wiedzy o LLM
  • Realizacja nowych zadań
  • Budowa LLM
  • Dostrajanie LLM
  • Ocena wydajności LLM

Ścieżka nauki

Wprowadzenie do LLM w Pythonie

Czas na ćwiczenia!

Wprowadzenie do LLM w Pythonie

Preparing Video For Download...