GenAI-Grundbegriffe · Frage 1 von 12
Was ist ein Token bei einem Sprachmodell?
1 Antwort ist richtig. Einfach
Lösung anzeigen
Lösung
- A Ein Wort oder Wortteil als Texteinheit
Erklärung
Sprachmodelle zerlegen Text in Tokens, das sind Wörter, Wortteile oder Satzzeichen. Eingabe und Ausgabe werden in Tokens gemessen, ebenso die Grenze des Kontextfensters und meist auch der Preis. Ein Wort kann aus mehreren Tokens bestehen.