Hugging Face 模型导航

使用 Hugging Face 的多模态模型

James Chapman

Curriculum Manager, DataCamp

认识您的讲师…

Sean Benson

瑞士 CERN 大型强子对撞机（LHC）前粒子物理学家
现任阿姆斯特丹大学医学中心的应用 AI 研究员

Sean Benson 的照片。

涵盖的模态

文本、图像、音频和视频应用示例。

¹ 图片来源：OpenAI 生成

Hugging Face

Hugging Face 模型网页的截图，显示模型卡信息

100万+ 模型
25万+ 数据集

Hub API

以编程方式访问模型与数据集

pip install huggingface_hub[cli]

登录以访问您账户中的模型：

>>> huggingface-cli login

所有库、模型和数据集均已预安装

搜索模型

Hugging Face API：以编程方式访问模型与数据集

from huggingface_hub import HfApi
api = HfApi()

models = api.list_models()

task：如 "image-classification"、"text-to-image" 等
sort：如 "likes" 或 "downloads"
limit：返回数量上限
tags：模型的相关附加信息

搜索模型

models = api.list_models(

    task="text-to-image",

    author="CompVis",

    tags="diffusers:StableDiffusionPipeline",

    sort="downloads"

)

top_model = list(models)[0]
print(top_model)

ModelInfo(id='CompVis/stable-diffusion-v1-4', private=False, downloads=1097285, 
          likes=6718, library_name='diffusers', ...

通过 API 使用模型

top_model_id = top_model.id
print(top_model_id)

CompVis/stable-diffusion-v1-4

from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained(top_model_id)

可用任务

提供网页文档
也可通过 JSON 获取：https://huggingface.co/api/tasks

import json
from urllib.request import urlopen
url = "https://huggingface.co/api/tasks"

with urlopen(url) as url:
    tasks = json.load(url)
print(tasks.keys())

dict_keys(['any-to-any',
'audio-classification',
'audio-to-audio', ...'])

¹ https://huggingface.co/tasks ² https://huggingface.co/api/tasks

开始练习吧！

使用 Hugging Face 的多模态模型