Grundlagen generativer KI · Frage 27 von 60
Welche Aussagen über Tokens treffen zu?
2 Antworten sind richtig. Mittel Mit KI erstellt
Lösung anzeigen
Lösung
- B Ein Token kann ein einzelnes Zeichen sein
- C Ein Token kann ein Wortteil sein
Erklärung
Tokens reichen vom einzelnen Zeichen über Wortteile bis zu ganzen Wörtern. Auch Satzzeichen werden zu Tokens. Deshalb lässt sich die Tokenzahl nicht einfach aus der Wortzahl ablesen.