Funktionsweise generativer Modelle · Frage 2 von 12
Was ist ein Token bei einem Sprachmodell?
1 Antwort ist richtig. Einfach Mit KI erstellt
Lösung anzeigen
Lösung
- C Ein Textstück, etwa ein Wort, Wortteil oder Satzzeichen
Erklärung
Sprachmodelle zerlegen Text in Tokens. Häufige Wörter sind oft ein Token, seltene Wörter werden in mehrere Teile zerlegt. Im Englischen entspricht ein Token im Schnitt etwa vier Zeichen. Abgerechnet und begrenzt wird bei vielen Modellen nach Tokens.