Nawigacja po modelach Hugging Face

Modele multimodalne z Hugging Face

James Chapman

Curriculum Manager, DataCamp

Poznaj swojego instruktora...

Sean Benson

Były fizyk cząstek elementarnych w Wielkim Zderzaczu Hadronów (LHC) w CERN, Szwajcaria
Obecnie stosowany badacz AI w Amsterdamskim Uniwersyteckim Centrum Medycznym

Zdjęcie Seana Bensona.

Omawiane modalności

Przykłady zastosowań tekstu, obrazu, dźwięku i wideo.

¹ Image Credits: OpenAI generated

Hugging Face

Zrzut ekranu strony modelu Hugging Face z informacjami o karcie modelu

Ponad 1M modeli
Ponad 250k zbiorów danych

Hub API

Programmatyczny dostęp do modeli i zbiorów danych

pip install huggingface_hub[cli]

Zaloguj się, aby uzyskać dostęp do modeli ze swojego konta:

>>> huggingface-cli login

Wszystkie biblioteki, modele i zbiory danych będą wstępnie zainstalowane

Wyszukiwanie modeli

Hugging Face API: programmatyczny dostęp do modeli i zbiorów danych

from huggingface_hub import HfApi
api = HfApi()

models = api.list_models()

task: "image-classification", "text-to-image" itd.
sort: np. "likes" lub "downloads"
limit: Maksymalna liczba wyników
tags: Dodatkowe informacje o modelu

Wyszukiwanie modeli

models = api.list_models(

    task="text-to-image",

    author="CompVis",

    tags="diffusers:StableDiffusionPipeline",

    sort="downloads"

)

top_model = list(models)[0]
print(top_model)

ModelInfo(id='CompVis/stable-diffusion-v1-4', private=False, downloads=1097285, 
          likes=6718, library_name='diffusers', ...

Korzystanie z modeli przez API

top_model_id = top_model.id
print(top_model_id)

CompVis/stable-diffusion-v1-4

from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained(top_model_id)

Dostępne zadania

Dokumentacja dostępna na stronie
Dostępna również w formacie JSON: https://huggingface.co/api/tasks

import json
from urllib.request import urlopen
url = "https://huggingface.co/api/tasks"

with urlopen(url) as url:
    tasks = json.load(url)
print(tasks.keys())

dict_keys(['any-to-any',
'audio-classification',
'audio-to-audio', ...'])

¹ https://huggingface.co/tasks ² https://huggingface.co/api/tasks

Czas na ćwiczenia!

Modele multimodalne z Hugging Face