Notions de base de l’IA générative · Question 1 sur 12
Qu'est-ce qu'un token pour un modèle de langage ?
1 réponse est correcte. Facile Créé avec l’IA
Afficher la solution
Solution
- A Un mot ou une partie de mot comme unité de texte
Explication
Les modèles de langage découpent le texte en tokens, c'est-à-dire des mots, des parties de mots ou des signes de ponctuation. L'entrée et la sortie se mesurent en tokens, tout comme la limite de la fenêtre de contexte et, généralement, le prix. Un mot peut se composer de plusieurs tokens.