Navigare i modelli su Hugging Face

Modelli multi-modali con Hugging Face

James Chapman

Curriculum Manager, DataCamp

Conosci il tuo istruttore...

 

Sean Benson
  • Ex fisico delle particelle al Large Hadron Collider (LHC) del CERN, Svizzera
  • Ora ricercatore AI applicata all'Amsterdam University Medical Center

Foto di Sean Benson.

Modelli multi-modali con Hugging Face

Modalità trattate

Esempi di applicazioni di testo, immagine, audio e video.

1 Crediti immagine: generata da OpenAI
Modelli multi-modali con Hugging Face

Hugging Face

Screenshot di una pagina modello Hugging Face con info della model card

  • 1M+ modelli
  • 250k+ dataset
Modelli multi-modali con Hugging Face

Hub API

  • Accedi a modelli e dataset via codice
pip install huggingface_hub[cli]

Accedi per usare i modelli del tuo account:

>>> huggingface-cli login
  • Librerie, modelli e dataset saranno preinstallati
Modelli multi-modali con Hugging Face

Cercare modelli

  • Hugging Face API: accesso programmato a modelli e dataset
from huggingface_hub import HfApi
api = HfApi()

models = api.list_models()
  • task: "image-classification", "text-to-image", ecc.
  • sort: es. "likes" o "downloads"
  • limit: voci massime
  • tags: info aggiuntive del modello
Modelli multi-modali con Hugging Face

Cercare modelli

models = api.list_models(

task="text-to-image",
author="CompVis",
tags="diffusers:StableDiffusionPipeline",
sort="downloads"
)
top_model = list(models)[0]
print(top_model)
ModelInfo(id='CompVis/stable-diffusion-v1-4', private=False, downloads=1097285, 
          likes=6718, library_name='diffusers', ...
Modelli multi-modali con Hugging Face

Usare modelli dall'API

top_model_id = top_model.id
print(top_model_id)
CompVis/stable-diffusion-v1-4
from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained(top_model_id)
Modelli multi-modali con Hugging Face

Task disponibili

  • Documentate con una pagina web

  • Disponibili anche via JSON: https://huggingface.co/api/tasks

import json
from urllib.request import urlopen
url = "https://huggingface.co/api/tasks"

with urlopen(url) as url:
    tasks = json.load(url)
print(tasks.keys())
dict_keys(['any-to-any',
'audio-classification',
'audio-to-audio', ...'])
1 https://huggingface.co/tasks 2 https://huggingface.co/api/tasks
Modelli multi-modali con Hugging Face

Passons à la pratique !

Modelli multi-modali con Hugging Face

Preparing Video For Download...