Conceptos básicos de IA generativa · Pregunta 1 de 12
¿Qué es un token para un modelo de lenguaje?
1 respuesta es correcta. Fácil Creado con IA
Mostrar solución
Solución
- A Una palabra o parte de una palabra como unidad de texto
Explicación
Los modelos de lenguaje dividen el texto en tokens, que son palabras, partes de palabras o signos de puntuación. La entrada y la salida se miden en tokens, igual que el límite de la ventana de contexto y, normalmente, el precio. Una palabra puede constar de varios tokens.