ISTQB CT-AI
Métriques de ML et réseaux de neurones
Facile
Métriques de performance fonctionnelle ML
- Quelles quatre situations une matrice de confusion distingue-t-elle dans une classification ?
- Que signifie un faux positif (FP) pour un filtre anti-spam si « spam » est la classe positive ?
- Comment la justesse (accuracy) est-elle calculée ?
- Comment la précision est-elle calculée ?
- Comment le rappel est-il calculé ?
- Quel autre nom est utilisé pour le rappel ?
- Comment le score F1 est-il défini ?
- Un classifieur donne TP = 40, TN = 50, FP = 5 et FN = 5. Quelle est la justesse ?
- Un modèle a prédit 40 cas comme positifs, dont 30 sont réellement positifs. Quelle est la précision ?
- Un jeu de données de test contient 50 cas réellement positifs, dont le modèle en identifie 45 comme positifs. Quel est le rappel ?
- Pourquoi un modèle de classification prédit-il rarement tout correctement en permanence ?
Réseaux de neurones
- Quels sont les trois principaux types de couches d'un réseau de neurones profond ?
- À quoi peut servir un perceptron monocouche ?
- Comment appelle-t-on aussi les neurones des couches cachées ?
- Qu'est-ce qu'une époque (epoch) lors de l'entraînement d'un réseau de neurones ?
- Comment les poids et les valeurs de biais d'un réseau de neurones sont-ils typiquement initialisés au début de l'entraînement ?
- Pourquoi des mesures de couverture spéciales sont-elles nécessaires pour les réseaux de neurones ?
- Que mesure la couverture des neurones ?
- Quelle est la situation concernant les outils commerciaux pour les mesures de couverture des réseaux de neurones ?
- Quelle est la tâche de la couche de sortie d'un réseau de neurones ?
Moyen
Métriques de performance fonctionnelle ML
- Un classifieur donne TP = 80, FP = 20, FN = 40 et TN = 860. Quels sont la précision et le rappel ?
- Un modèle atteint une précision de 80% et un rappel de 60%. Quel est le score F1 (arrondi) ?
- Un classifieur donne TP = 90, FP = 30, FN = 10 et TN = 70. Quelles valeurs sont correctes ?
- À quelle question la précision répond-elle ?
- Que signifie un faible score F1 ?
- Un modèle de détection précoce du cancer doit manquer le moins possible de cas réels de la maladie. Quelle métrique est prioritaire ?
- Un filtre antispam doit classer le moins possible d'e-mails importants comme spam par erreur. Quelle métrique (spam = positif) est prioritaire ?
- Quelle plage de valeurs s'applique au score F1 ?
- Un modèle donne TP = 45, FP = 5, FN = 15 et TN = 35. Quelles valeurs sont correctes ?
- Quelle affirmation sur la présentation de la matrice de confusion est correcte ?
- Un modèle donne TP = 60, FP = 40, FN = 20 et TN = 880. Quelle est l'exactitude ?
Réseaux de neurones
- Comment un neurone (après la couche d'entrée) calcule-t-il sa valeur d'activation ?
- Que devient l'erreur (loss) entre la sortie générée et le résultat correct connu pendant l'entraînement ?
- Quelles affirmations sur le biais d'un neurone sont correctes ?
- Comment un réseau de neurones profond traite-t-il les données d'entrée en chemin vers la sortie ?
- Quel est le lien entre les réseaux entièrement connectés et les perceptrons ?
- Comment fonctionne la couverture des neurones par k-sections multiples (kMNC) ?
- Que mesure la couverture des limites des neurones (NBC) ?
- À quoi servent principalement les mesures de couverture pour les réseaux de neurones ?
- Pourquoi la couverture structurelle seule ne suffit-elle pas pour évaluer un réseau de neurones ?
Difficile
Métriques de performance fonctionnelle ML
- Sur 1 000 transactions, 10 sont frauduleuses. Un modèle classe toutes les transactions comme « pas de fraude » (fraude = positif). Quelles affirmations sont correctes ?
- Un modèle donne TP = 8, FP = 2, FN = 2 et TN = 988 pour 1 000 cas. Quelles valeurs sont correctes ?
- Le modèle A atteint une précision de 90 % et un rappel de 50 %, le modèle B une précision de 70 % et un rappel de 70 %. Quel modèle a le score F1 le plus élevé ?
- Un modèle classe les 1 000 cas comme positifs ; 50 sont réellement positifs. Quelles valeurs en résultent ?
- Un modèle atteint un rappel de 90 %. Le jeu de données de test contient 200 cas réellement positifs. Combien d'entre eux le modèle a-t-il manqués ?
- Un modèle a prédit 50 cas comme positifs et atteint une précision de 80 %. Combien de fausses alertes (faux positifs) cela comprend-il ?
- Une matrice de confusion est présentée avec les axes inversés : ligne « réellement positif » : 70 prédits positifs, 30 prédits négatifs ; ligne « réellement négatif » : 10 prédits positifs, 890 prédits négatifs. Quelles valeurs sont correctes ?
- Dans la détection de fraude, les cas de fraude manqués comme les fausses alertes coûtent cher. Quelle métrique convient comme critère de synthèse unique ?
- Un modèle donne TP = 50, FP = 50, FN = 0 et TN = 900. Quelles valeurs sont correctes ?
Réseaux de neurones
- Quelle fonction logique un perceptron monocouche peut-il apprendre ?
- Dans quel ordre se déroulent les étapes de l'entraînement d'un réseau de neurones ?
- Deux réseaux par ailleurs identiques ne diffèrent que par leur fonction d'activation. Qu'en résulte-t-il ?
- Quelles affirmations sur les réseaux de neurones profonds sont correctes ?
- Un réseau compte 200 neurones. Lors des tests, la sortie de 150 neurones dépasse le seuil spécifié. Quelle est la couverture de neurones ?
- Un réseau compte 10 neurones dont les plages de sortie sont chacune divisées en k = 4 sections. Lors des tests, 28 sections sont activées. Quel est le kMNC ?
- Dans un réseau de 50 neurones, la sortie de 5 neurones lors des tests se situe en dehors de la plage observée à l'entraînement (au-dessus du maximum ou en dessous du minimum). Quelle mesure, avec quelle valeur, en résulte ?
- Une suite de tests atteint 100 % de couverture de neurones, et pourtant le modèle échoue sur le terrain avec des images légèrement pivotées. Quelles explications et conséquences existe-t-il ?
- L'évaluation des tests montre qu'un groupe de neurones d'une couche cachée n'est jamais activé. Comment le testeur doit-il réagir ?
- Une équipe veut vérifier si ses tests couvrent aussi un comportement au-delà des sorties de neurones observées à l'entraînement. Quelle mesure de couverture convient le mieux ?
- Un responsable de test veut utiliser la couverture classique des instructions et des branches comme mesure principale pour un réseau de neurones. Qu'est-ce qui s'y oppose ?