Grundlagen generativer KI · Frage 51 von 60
Ein Team vergleicht die Tokenzahl gleich langer Testberichte auf Deutsch und Englisch. Welche Aussagen treffen zu?
2 Antworten sind richtig. Schwer Mit KI erstellt
Lösung anzeigen
Lösung
- B Die Tokenzahl bestimmt, wie viel Text ins Kontextfenster passt
- C Gleich lange Texte können unterschiedlich viele Tokens ergeben
Erklärung
Wie ein Text zerlegt wird, hängt von Sprache, Wortbildung und Tokenizer ab; lange Komposita zerfallen oft in mehrere Tokens. Weil das Kontextfenster in Tokens gemessen wird, lohnt sich das Zählen vor großen Eingaben.