Entraînement des modèles de fondation · Question 1 sur 12
Que se passe-t-il lors du pré-entraînement d'un foundation model ?
1 réponse est correcte. Facile Créé avec l’IA
Afficher la solution
Solution
- C Il apprend des schémas généraux à partir d'énormes volumes de données
Explication
Pendant le pré-entraînement, le modèle traite d'énormes jeux de données, le plus souvent non étiquetés, et apprend la langue, les connaissances et les schémas, souvent en prédisant le token suivant. C'est l'étape la plus coûteuse du cycle de vie et la base de toute personnalisation ultérieure.