Personnalisation des modèles · Question 12 sur 12

Une équipe ajoute 30 exemples à chaque prompt pour que le modèle respecte un format particulier. Avec des millions d'appels par mois, les coûts en tokens deviennent élevés. Quelles options sont pertinentes ?

2 réponses sont correctes. Difficile Créé avec l’IA

Afficher la solution

Solution

  • C Effectuer un fine-tuning d'un modèle sur ce format
  • E Mettre en cache le bloc d'exemples inchangé avec le prompt caching

Explication

À grand volume, le fine-tuning peut être rentable, car il n'est plus nécessaire d'inclure les exemples dans chaque prompt par la suite. Le prompt caching réduit le coût du bloc récurrent. Davantage d'exemples augmentent encore les coûts, et un pré-entraînement propre est complètement disproportionné.

Certifications & examens

Quel examen pour la suite ?

Tu peux déjà t’entraîner pour 51 examens, 16 sont soumis au vote. Découvre toutes les certifications avec les infos officielles, vote ou propose ton examen.

Voir toutes les certifications