Natural language processing परिचय

Python में Natural Language Processing (NLP)

Fouad Trad

Machine Learning Engineer

इंस्ट्रक्टर से मिलिए...

इंस्ट्रक्टर की फोटो.

Fouad Trad

Machine learning engineer
Research scientist
साइबरसिक्योरिटी और हेल्थकेयर में NLP

NLP क्या है?

भाषा हमारे संचार का मुख्य तरीका है
कंप्यूटर हमारी भाषा नहीं समझते

छवि जो दिखाती है भाषा कहाँ होती है: किताबें, वेबसाइटें, सोशल मीडिया पोस्ट, और ईमेल.

NLP क्या है?

कंप्यूटरों को मानव भाषा विश्लेषण में सक्षम बनाता है

छवि: एक व्यक्ति मशीन से बात कर रहा है और natural language processing व्यक्ति की बात को मशीन की समझ में बदल रहा है.

NLP वर्कफ़्लो

वर्कफ़्लो का पहला चरण: raw text.

Raw text: ट्वीट से लेकर किताब के पैराग्राफ तक कुछ भी

NLP वर्कफ़्लो

वर्कफ़्लो का दूसरा चरण: preprocessing

Raw text: ट्वीट से लेकर किताब के पैराग्राफ तक कुछ भी
Preprocessing: टेक्स्ट साफ़ करना और अनावश्यक तत्व हटाना

NLP वर्कफ़्लो

वर्कफ़्लो का तीसरा चरण: feature extraction.

Raw text: ट्वीट से लेकर किताब के पैराग्राफ तक कुछ भी
Preprocessing: टेक्स्ट साफ़ करना और अनावश्यक तत्व हटाना
Feature extraction: टेक्स्ट को संख्याओं में बदलना

NLP वर्कफ़्लो

वर्कफ़्लो का चौथा चरण: Modeling

Raw text: ट्वीट से लेकर किताब के पैराग्राफ तक कुछ भी
Preprocessing: टेक्स्ट साफ़ करना और अनावश्यक तत्व हटाना
Feature extraction: टेक्स्ट को संख्याओं में बदलना
Model: विश्लेषण, भविष्यवाणी, वर्गीकरण, नया कंटेंट जनरेट करना

कोर्स प्लान

पूरा वर्कफ़्लो डायग्राम, जिसमें बताया है कि Chapter 1 में NLTK से preprocessing कवर होगा

कोर्स प्लान

पूरा वर्कफ़्लो डायग्राम, जिसमें बताया है कि Chapter 2 में scikit-learn और Gensim से feature extraction कवर होगा.

कोर्स प्लान

पूरा वर्कफ़्लो डायग्राम, जिसमें बताया है कि Chapters 3 और 4 में transformers लाइब्रेरी से पाइपलाइन्स कवर होंगी, जो preprocessing, feature extraction, और modeling को छुपा देती हैं.

Tokenization

टेक्स्ट को टोकन्स में तोड़ता है (छोटे, संभालने योग्य हिस्से)

एक व्यक्ति गाजर काट रहा है, ऐसी छवि

Sentence tokenization

टेक्स्ट → वाक्य
पूरे टेक्स्ट को एक साथ देखने से बेहतर समझ देता है

import nltk

nltk.download('punkt_tab')


text = "NLP is fun. Let's dive into it!"

sentences = nltk.sent_tokenize(text)

print(sentences)

["NLP is fun.", "Let's dive into it!"]

अनुवाद दर्शाने वाला एक आइकन.

Word tokenization

टेक्स्ट → शब्द और विराम-चिह्न
इन कार्यों में उपयोगी:
- प्रमुख टर्म्स पहचानना
- शब्द आवृत्ति गिनना

text = "Claim your free prize now!"

words = nltk.word_tokenize(text)

print(words)

['Claim', 'your', 'free', 'prize', 'now', '!']

स्पैम ईमेल का आइकन दिखाने वाली छवि.

अभ्यास करते हैं!

Python में Natural Language Processing (NLP)