Entraînement des modèles de fondation · Question 11 sur 12
Une entreprise pharmaceutique dispose de 2 millions d'articles spécialisés non étiquetés et de 3 000 paires question-réponse validées. Le modèle doit comprendre le langage spécialisé et répondre aux questions dans le format de l'entreprise. Quelle séquence est pertinente ?
1 réponse est correcte. Difficile Créé avec l’IA
Afficher la solution
Solution
- A D'abord un pré-entraînement continu avec les articles, puis un fine-tuning avec les paires
Explication
Les textes de domaine non étiquetés conviennent au pré-entraînement continu, qui transmet le langage spécialisé. Les paires étiquetées servent ensuite au fine-tuning sur le format et la tâche. Un nouveau pré-entraînement avec seulement 3 000 exemples serait totalement insuffisant.