Navigeren in Hugging Face-modellen

Multi-modale modellen met Hugging Face

James Chapman

Curriculum Manager, DataCamp

Maak kennis met je docent...

Sean Benson

Voormalig deeltjesfysicus bij de Large Hadron Collider (LHC) in CERN, Zwitserland
Nu toegepast AI-onderzoeker bij het Amsterdam UMC

Foto van Sean Benson.

Gedekte modaliteiten

Voorbeelden van tekst-, beeld-, audio- en video-applicaties.

¹ Beeldcredits: gegenereerd door OpenAI

Hugging Face

Schermafbeelding van een Hugging Face-modelpagina met modelkaartinfo

1M+ modellen
250k+ datasets

De Hub-API

Modelle en datasets programmatisch benaderen

pip install huggingface_hub[cli]

>>> huggingface-cli login

Alle libraries, modellen en datasets zijn vooraf geïnstalleerd

Modellen zoeken

Hugging Face API: programmatisch toegang tot modellen en datasets

from huggingface_hub import HfApi
api = HfApi()

models = api.list_models()

task: "image-classification", "text-to-image", etc.
sort: bijv. "likes" of "downloads"
limit: Max. aantal items
tags: Extra info gekoppeld aan het model

Modellen zoeken

models = api.list_models(

    task="text-to-image",

    author="CompVis",

    tags="diffusers:StableDiffusionPipeline",

    sort="downloads"

)

top_model = list(models)[0]
print(top_model)

ModelInfo(id='CompVis/stable-diffusion-v1-4', private=False, downloads=1097285, 
          likes=6718, library_name='diffusers', ...

Modellen gebruiken via de API

top_model_id = top_model.id
print(top_model_id)

CompVis/stable-diffusion-v1-4

from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained(top_model_id)

Beschikbare taken

Gedocumenteerd op een webpagina
Ook beschikbaar via JSON: https://huggingface.co/api/tasks

import json
from urllib.request import urlopen
url = "https://huggingface.co/api/tasks"

with urlopen(url) as url:
    tasks = json.load(url)
print(tasks.keys())

dict_keys(['any-to-any',
'audio-classification',
'audio-to-audio', ...'])

¹ https://huggingface.co/tasks ² https://huggingface.co/api/tasks

Laten we oefenen!

Multi-modale modellen met Hugging Face