जेनरेटिव AI की बुनियादी अवधारणाएँ · प्रश्न 1 / 12
लैंग्वेज मॉडल के लिए टोकन क्या है?
1 उत्तर सही है। आसान AI से बनाया गया
उत्तर दिखाएँ
उत्तर
- A टेक्स्ट की इकाई के रूप में एक शब्द या शब्द का हिस्सा
व्याख्या
लैंग्वेज मॉडल टेक्स्ट को टोकन में बाँटते हैं, जो शब्द, शब्दों के हिस्से या विराम चिह्न होते हैं। इनपुट और आउटपुट टोकन में मापे जाते हैं, वैसे ही कॉन्टेक्स्ट विंडो की सीमा और आम तौर पर कीमत भी। एक शब्द में कई टोकन हो सकते हैं।