पाइपलाइन टास्क और मूल्यांकन

Hugging Face के साथ मल्टी-मोडल मॉडल्स

James Chapman

Curriculum Manager, DataCamp

Pipelines बनाम मॉडल कॉम्पोनेंट्स

वर्तमान तरीका

from transformers import BlipProcessor, BlipForConditionalGeneration
checkpoint = "Salesforce/blip-image-captioning-base"
processor = BlipProcessor.from_pretrained(checkpoint)
model = BlipForConditionalGeneration.from_pretrained(checkpoint)

Pipelines

from transformers import pipeline
pipe = pipeline("image-to-text", model=checkpoint)

उदाहरण तुलना

प्रोसेसर और मॉडल सीधे

inputs = processor(images=image, 
                   return_tensors="pt")
gen = model.generate(**inputs)
processor.decode(gen[0])

Pipeline

pipe(image)

[{'generated_text': 
'a man wearing a black shirt'}]

डेटापॉइंट5

मॉडल और टास्क ढूँढना

API से पाइपलाइन के लिए मॉडल खोजें:

from huggingface_hub import HfApi
model = list(api.list_models(task="text-to-image", limit=5))
pipe = pipeline("text-to-image", model[0].id)

Hugging Face पर मॉडल होम पेज का स्क्रीनशॉट

मॉडल को विकल्प पास करना

अंदरूनी तौर पर MusicgenForConditionalGeneration

pipe = pipeline(task="text-to-audio", 
                model="facebook/musicgen-small", framework="pt")

generate_kwargs = {"temperature": 0.8, "max_new_tokens": 20}

outputs = pipe("Classic rock riff", generate_kwargs=generate_kwargs)

temperature (0-1): रैंडमनेस और क्रिएटिविटी नियंत्रित करें
max_new_tokens: जनरेट हुए टोकन की अधिकतम संख्या सीमित करें

पाइपलाइन परफॉर्मेंस का मूल्यांकन

Accuracy: कुल सही क्लासिफिकेशंस का अनुपात
Precision: क्लास प्रेडिक्शंस कितनी बार सही हैं
Recall: वास्तविक क्लासेज़ में से कितनी सही पहचानी गईं
F1 Score: precision और recall का संयोजन

from evaluate import evaluator

task_evaluator = evaluator("image-classification")

metrics_dict = {
    "precision": "precision",
    "recall": "recall",
    "f1": "f1",
}

label_map = pipe.model.config.label2id

पाइपलाइन परफॉर्मेंस का मूल्यांकन

eval_results = task_evaluator.compute(
  model_or_pipeline=pipe,

  data=dataset,

  metric=evaluate.combine(metrics_dict),

  label_mapping=label_map)

print(eval_results)

{'precision': 0.999001923076923, 
'recall': 0.999, 
'f1': 0.9989999609405906, ...}

pipe = pipeline(task="image-classification",
model="ideepankarsharma2003/AI_ImageClassi
fication_MidjourneyV6_SDXL"
)
dataset = load_dataset("ideepankarsharma2003/
Midjourney_v6_Classification_small_shuffled")

डेटासेट से पानी के नीचे कुत्ते की AI जनरेटेड छवि का उदाहरण

अभ्यास करते हैं!

Hugging Face के साथ मल्टी-मोडल मॉडल्स