ऑटो मॉडल्स और टोकनाइज़र

Hugging Face के साथ काम करना

Jacob H. Marquez

Lead Data Engineer

पाइपलाइंस: तेज और सरल

from transformers import pipeline  

my_pipeline = pipeline(
    "text-classification",
    model="distilbert-base-uncased-finetuned-sst-2-english"))

print(my_pipeline("Wi-Fi is slower than a snail today!"))

[{'label': 'NEGATIVE', 'score': 0.99}]

ऑटो क्लासेस: लचीला और पावरफुल

ऑटो क्लासेस: मॉडल्स और टोकनाइज़र तक लचीली पहुँच
मॉडल व्यवहार और आउटपुट पर अधिक नियंत्रण
एडवांस्ड टास्क के लिए बेहतरीन

Pipelines = जल्दी; Auto classes = लचीला

तीन स्लाइडर बार टॉगल्स के साथ और एक हाथ उन्हें समायोजित करता हुआ. अधिक नियंत्रण दर्शाता है.

ऑटोमॉडल्स

कोई AutoModel क्लास चुनें और सीधे मॉडल डाउनलोड करें

from transformers import AutoModelForSequenceClassification


# Download a pre-trained text classification model
model = AutoModelForSequenceClassification.from_pretrained(
    "distilbert-base-uncased-finetuned-sst-2-english"
)

ऑटो टोकनाइज़र

टेक्स्ट इनपुट डेटा तैयार करें
मॉडल के पेयर्ड टोकनाइज़र का उपयोग करना सुझाया जाता है

from transformers import AutoTokenizer


# Retrieve the tokenizer paired with the model
tokenizer = AutoTokenizer.from_pretrained(
    "distilbert-base-uncased-finetuned-sst-2-english"
)

AutoTokenizer के साथ टेक्स्ट टोकनाइज़ करना

टोकनाइज़र इनपुट को क्लीन करते हैं और टेक्स्ट को टोकन्स में बाँटते हैं

tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")


# Tokenize input text
tokens = tokenizer.tokenize("AI: Helping robots think and humans overthink:)")
print(tokens)

['ai', ':', 'helping', 'robots', 'think', 'and', 
 'humans', 'over', '##thi', '##nk', ':', ')']

अलग मॉडल, अलग टोकनाइज़र

हमारा मॉडल (distilbert-base-uncased):

['ai', ':', 'helping', 'robots', 'think', 'and', 'humans', 'over', '##thi',
'##nk', ':', ')']

BERT-Base-Cased टोकनाइज़र:

['AI', ':', 'Help', '##ing', 'robots', 'think', 'and', 'humans', 'over',
'##thin', '##k', ':', ')']

ऑटो क्लासेस से पाइपलाइन बनाना

from transformers import AutoModelForSequenceClassification,
AutoTokenizer, pipeline


# Download the model and tokenizer
my_model = AutoModelForSequenceClassification.from_pretrained(
  "distilbert-base-uncased-finetuned-sst-2-english")
my_tokenizer = AutoTokenizer.from_pretrained(
  "distilbert-base-uncased-finetuned-sst-2-english")


# Create the custom pipeline
my_pipeline = pipeline(
  task="sentiment-analysis", model=my_model, tokenizer=my_tokenizer)

AutoModels और AutoTokenizers के उपयोग मामले

🛠️ अधिक नियंत्रण और कस्टमाइज़ेशन के लिए उपयोग करें
📝 टेक्स्ट प्रीप्रोसेसिंग: विशेष उपयोग मामलों के लिए क्लीन और टोकनाइज़ करें
🏆 थ्रेशहोल्डिंग: क्लासिफिकेशन में मुख्य श्रेणियों को प्राथमिकता दें
🚀 कॉम्प्लेक्स वर्कफ़्लो: मल्टी-स्टेज प्रोसेसिंग और इंटीग्रेशन नियंत्रित करें

$$ More control and customization

अभ्यास करते हैं!

Hugging Face के साथ काम करना