ISTQB CT-AI
Apprentissage automatique et données
Facile
Introduction à l'apprentissage automatique
- En quelles trois formes les algorithmes de ML peuvent-ils être classés ?
- Un modèle doit classer des e-mails en spam ou non-spam. De quel type de problème s'agit-il ?
- Un modèle doit estimer l'âge d'une personne à partir de données de mode de vie. De quel type de problème s'agit-il ?
- En quoi le terme « régression » dans le contexte du ML diffère-t-il de son sens dans le test logiciel classique ?
- Quel retour un agent intelligent reçoit-il pour ses actions dans l'apprentissage par renforcement ?
- Que se passe-t-il dans la première activité du workflow de ML, « comprendre les objectifs » ?
- Quels paramètres appelle-t-on hyperparamètres du modèle ?
- Quel jeu de données sert à évaluer le modèle dans l'activité « évaluer le modèle » ?
- Quelles trois activités composent ensemble la « génération du modèle » ?
- Comment le workflow de ML est-il appliqué en pratique ?
- Qu'entend-on par fine-tuning ?
- Que signifie l'abréviation RAG ?
- Qu'advient-il du modèle préentraîné avec le RAG ?
Données pour l'apprentissage automatique
- Quel effort la préparation des données demande-t-elle dans le workflow de ML par rapport aux autres étapes ?
- Quelles trois activités principales la préparation des données comprend-elle ?
- Quelles techniques sont typiquement utilisées pour remplir les valeurs manquantes lors du nettoyage des données (imputation) ?
- Quel est l'objectif de l'analyse exploratoire des données (EDA) ?
- À quoi sert le jeu de données de validation ?
- Quel est l'autre nom du jeu de données de test ?
- Quelles valeurs de k sont courantes dans la validation croisée à k blocs ?
Moyen
Introduction à l'apprentissage automatique
- Un détaillant en ligne veut déduire des données d'achat quels produits sont souvent achetés ensemble afin de faire des recommandations. Quelle forme de ML convient ?
- Quels défis l'apprentissage par renforcement comporte-t-il ?
- De quoi le choix de la forme de ML (supervisé, non supervisé, par renforcement) dépend-il ?
- Quels paramètres appelle-t-on hyperparamètres d'algorithme ?
- Que comprend l'activité « préparer et tester les données » dans le workflow de ML ?
- Comment trouve-t-on généralement le meilleur modèle en pratique ?
- Que faut-il faire si le modèle obtient des résultats nettement moins bons sur le jeu de données de test indépendant que lors de l'évaluation ?
- Qui réalise typiquement le test du modèle dans le workflow de ML ?
- Que se passe-t-il dans l'activité « déployer le modèle » ?
- Qu'implique l'activité « surveiller et ajuster le modèle » ?
- Qu'est-ce qui n'est pas inclus dans le workflow de ML présenté, mais doit généralement être fait en plus ?
- À quelles parties d'un réseau de neurones le fine-tuning peut-il s'appliquer ?
- De quoi le succès du fine-tuning dépend-il principalement ?
- Qu'advient-il des biais et des vulnérabilités d'un modèle préentraîné lorsqu'il est adapté à une nouvelle tâche ?
- Comment le RAG fonctionne-t-il ?
Données pour l'apprentissage automatique
- Quelles tâches relèvent de l'acquisition des données ?
- Quelles tâches relèvent du prétraitement des données ?
- Pourquoi les données opérationnelles doivent-elles correspondre aux caractéristiques des données d'entraînement ?
- Quels facteurs déterminent la quantité de données utilisée pour l'entraînement, l'évaluation et le test lorsque les données sont suffisantes ?
- Comment fonctionne la validation croisée k-fold ?
Difficile
Introduction à l'apprentissage automatique
- Quelles associations entre tâche et forme de ML sont correctes ?
- Un testeur lit dans un rapport de projet de ML : « Régression terminée, erreur de 3,2 ans ». Comment faut-il le plus probablement le comprendre ?
- Une équipe a entraîné trois modèles (forêt aléatoire, SVM et réseau de neurones) et a retenu le meilleur d'après les données de validation. Quelle étape manque avant le déploiement ?
- Après réglage, un modèle atteint 94 % d'exactitude sur les données de validation mais seulement 78 % sur le jeu de données de test indépendant. Quelles conclusions sont appropriées ?
- Quels exemples relèvent des hyperparamètres du modèle et lesquels des hyperparamètres de l'algorithme ?
- Un modèle de traitement d'images doit être intégré dans le logiciel d'un véhicule. Quelles affirmations sur l'intégration sont correctes ?
- Un modèle tourne en production depuis des mois ; sa précision tombe progressivement sous le critère d'acceptation. Que faut-il faire ensuite ?
- Un modèle a été testé avec succès et est maintenant retravaillé (re-engineering) pour un système embarqué. Que faut-il ensuite ?
- Un classifieur de variétés de pommes doit être adapté par fine-tuning. Quelles tâches cibles fonctionneront probablement bien et lesquelles moins bien ?
- Une entreprise veut qu'un LLM réponde à des questions sur des manuels internes sans modifier le modèle lui-même. Que recommande-t-on, et que faut-il prendre en compte ?
- Quelles affirmations sur la relation entre fine-tuning et RAG sont correctes ?
Données pour l'apprentissage automatique
- Un modèle de détection de fraude a été entraîné avec des données d'Europe et est maintenant utilisé en Asie, où les schémas de transactions sont nettement différents. Quelle en est la conséquence ?
- Quelles tâches relèvent de l'ingénierie des caractéristiques (feature engineering) ?
- Quelles affirmations sur le déroulement de la préparation des données sont correctes ?
- Une équipe ajoute délibérément des exemples adverses aux données d'entraînement d'un classifieur d'images. Comment faut-il classer cela ?
- Une équipe ne dispose que de quelques centaines d'enregistrements. Quelles étapes sont courantes dans de tels cas ?
- Les données sont si rares qu'aucun jeu de test holdout n'est possible ; seule la moyenne de la validation croisée est rapportée. Comment faut-il évaluer cette valeur ?
- Un jeu de données est fortement déséquilibré (peu de cas de fraude). Comment former les blocs dans la validation croisée à k blocs ?
- Quelles autres méthodes de rééchantillonnage existe-t-il pour des données rares, en plus de la validation croisée à k blocs ?
- Pourquoi les jeux de données d'entraînement, de validation et de test doivent-ils être équivalents ?