Personnalisation des modèles · Question 12 sur 12
Une équipe ajoute 30 exemples à chaque prompt pour que le modèle respecte un format particulier. Avec des millions d'appels par mois, les coûts en tokens deviennent élevés. Quelles options sont pertinentes ?
2 réponses sont correctes. Difficile Créé avec l’IA
Afficher la solution
Solution
- C Effectuer un fine-tuning d'un modèle sur ce format
- E Mettre en cache le bloc d'exemples inchangé avec le prompt caching
Explication
À grand volume, le fine-tuning peut être rentable, car il n'est plus nécessaire d'inclure les exemples dans chaque prompt par la suite. Le prompt caching réduit le coût du bloc récurrent. Davantage d'exemples augmentent encore les coûts, et un pré-entraînement propre est complètement disproportionné.