Anpassung von Modellen · Frage 12 von 12
Ein Team hängt jedem Prompt 30 Beispiele an, damit das Modell ein Spezialformat einhält. Bei Millionen Aufrufen pro Monat werden die Tokenkosten hoch. Welche Optionen sind sinnvoll?
2 Antworten sind richtig. Schwer
Lösung anzeigen
Lösung
- C Ein Modell auf das Format feinabstimmen
- E Den gleichbleibenden Beispielblock per Prompt-Caching zwischenspeichern
Erklärung
Bei hohem Volumen kann sich Feinabstimmung lohnen, weil die Beispiele danach nicht mehr in jedem Prompt stehen müssen. Prompt-Caching senkt die Kosten des wiederkehrenden Blocks. Mehr Beispiele erhöhen die Kosten weiter, und eigenes Vortraining steht in keinem Verhältnis.