Tokenization और Transformers

इंटरमीडिएट ChatGPT

Alex Banks

Founder & Educator

Tokenization

एक व्यक्ति Transformer-जैसे किरदार को देखते हुए, मन में "Tokens" शब्द सोचते हुए

Tokenization

फिल्म किरदार Terminator जैसी शक्ल वाला व्यक्ति

Encoding

फिल्म किरदार Terminator जैसी शक्ल वाला व्यक्ति

Vectorization

फिल्म किरदार Terminator जैसी शक्ल वाला व्यक्ति

Decoding

फिल्म किरदार Terminator जैसी शक्ल वाला व्यक्ति

Self-attention

Transformer-जैसा रोबोट किरदार एक तराजू के पास

Self-attention

चटाई पर बैठी बिल्ली का चित्र

Token संबंध

चित्र में दो रंग-बिरंगे रोबोट एक बड़े गुलाबी दिल के अंदर हैं, चारों ओर छोटे दिल हैं। बाएँ रोबोट पर "it" और दाएँ पर "the cat" लिखा है। दिल के बाएँ तरफ ऊपर से नीचे तीन नीले टेक्स्ट स्निपेट हैं: "the cat", "sat", और "the cat".

Contextual समझ

चित्र में दो रंगीन रोबोट साथ बैठे हैं, दायाँ रोबोट बोलने का इशारा कर रहा है.

अभ्यास करते हैं!

इंटरमीडिएट ChatGPT