ISTQB CT-AI
Tests du développement et du déploiement du ML
Facile
Risques du développement ML
- Sur quoi se concentre le test du développement de ML ?
- Quelle mesure d'atténuation aide contre une utilisation incorrecte ou non prévue des API de bibliothèques ou de frameworks tels que TensorFlow ou PyTorch ?
- Quelle mesure d'atténuation aide contre une installation ou une compilation défectueuse du framework ?
- Quelle mesure d'atténuation aide contre une mauvaise utilisabilité du framework ?
- Quelle mesure d'atténuation aide contre les vulnérabilités de sécurité du framework ?
- Quelle mesure d'atténuation aide contre une sélection de framework sous-optimale ?
- Quelle mesure d'atténuation aide contre une mauvaise documentation utilisateur du framework ?
- Quelle mesure d'atténuation aide contre une allocation défectueuse des données aux jeux d'entraînement, de validation et de test ?
- Quel test montre, avant le déploiement complet, si un nouveau modèle constitue une amélioration par rapport au modèle actuel ?
- Quelle mesure d'atténuation aide contre une mauvaise efficacité de performance, par exemple un framework lent à répondre ?
Tests de déploiement
- Que vérifie le test d'installabilité ?
- Que vérifie le test de retour arrière ?
- Quand le test de retour arrière doit-il être effectué ?
- Qu'est-ce que le canary testing ?
- Qu'est-ce que le test en mode fantôme (shadow testing) ?
- Que vérifie le test de conversion du modèle ?
- Que vérifie le test inter-appareils ?
- Que vérifie le test d'API lors du déploiement d'un système de ML ?
- Dans quels environnements cibles un système de ML doit-il fonctionner correctement et de manière fiable lors de son déploiement ?
- Quelles métriques en temps réel sont surveillées dans le canary testing ?
Moyen
Risques du développement ML
- Quelles mesures d'atténuation aident contre une implémentation défectueuse de l'évaluation par le framework ?
- Quelles mesures d'atténuation aident contre un défaut dans une bibliothèque utilisée par le framework ou une implémentation défectueuse de l'algorithme ?
- Quelles mesures d'atténuation aident contre une sélection d'algorithme sous-optimale ?
- Quelles mesures d'atténuation aident contre une sélection d'hyperparamètres sous-optimale, par exemple la structure du réseau ou le taux d'apprentissage ?
- Quelle mesure d'atténuation aide contre un mauvais choix de l'approche d'évaluation, par exemple la validation croisée k-fold ?
- Quelles mesures d'atténuation aident contre un défaut de déploiement, par exemple lors de la génération d'une version modifiée pour une plateforme cible ?
- Quelles mesures d'atténuation aident si un modèle déployé est incompatible avec l'environnement opérationnel ?
- Quelle mesure d'atténuation aide contre des problèmes dans l'algorithme, le modèle ou le framework qui introduisent une iniquité systémique ?
- Pourquoi le test de performance fonctionnelle du ML aide-t-il contre l'interprétation incorrecte des résultats de test ?
- Contre quels risques le test de fumée est-il utile ?
- Quels types de test servent à vérifier la robustesse et l'efficacité dans le test du développement du ML ?
Tests de déploiement
- Que vérifie-t-on, entre autres, lors du test d'installabilité d'un système de ML ?
- Que peut couvrir le test de retour arrière ?
- Quels défauts le test fantôme (shadow testing) peut-il révéler avant le déploiement complet ?
- Que vérifie le test de conversion de modèle en plus de l'exactitude des prédictions ?
- Avec quels systèmes externes les workflows d'intégration sont-ils vérifiés lors du test d'API d'un système de ML ?
- Qu'est-ce qui distingue le canary testing du test fantôme (shadow testing) ?
- Quel est l'objectif du canary testing ?
- Un modèle a été converti du format d'entraînement vers un format d'exécution compact pour un smartphone. Quel test de déploiement est prévu pour cela ?
- Un système de ML doit tourner sur des smartphones Android, sur des appareils en périphérie (edge) dans des usines et sur des serveurs cloud. Quel test de déploiement est particulièrement pertinent ?
Difficile
Risques du développement ML
- Une équipe soupçonne que le calcul des métriques d'un framework fournit des valeurs F1 erronées. Quelles mesures d'atténuation correspondent à ce risque ?
- Après une mise à jour de PyTorch, le même modèle avec les mêmes données fournit des résultats différents. Quel risque est présent, et quelles mesures d'atténuation conviennent ?
- Une équipe constate que certains enregistrements figurent à la fois dans le jeu de données d'entraînement et dans celui de test. Quel risque est présent, et quelle mesure d'atténuation convient ?
- Deux exécutions d'entraînement avec une configuration identique donnent des valeurs d'exactitude légèrement différentes, et un développeur en tire des conclusions hâtives sur une modification d'hyperparamètre. Quel risque et quelle mesure d'atténuation correspondent ?
- Quelles associations entre risque et mesure d'atténuation dans le développement ML sont correctes ?
- Une équipe a choisi la validation croisée k-fold avec une répartition inadaptée et considère les résultats comme fiables. Quelle mesure d'atténuation aide contre ce risque de développement ?
- Une erreur est survenue lors de la génération d'une version adaptée du modèle pour une plateforme cible. Quelles mesures d'atténuation conviennent ?
- Une équipe a choisi un framework inadapté à l'usage prévu sur des appareils edge, et ses réponses sont en outre trop lentes. Quelles mesures d'atténuation conviennent ?
- Un développeur appelle une fonction d'une bibliothèque ML avec des paramètres inversés sans qu'aucune erreur ne soit signalée. Quel risque est présent, et quelle mesure d'atténuation convient ?
Tests de déploiement
- Une banque veut comparer un nouveau modèle de détection de fraude avec des transactions réelles sans que les clients soient affectés par d'éventuelles mauvaises décisions du nouveau modèle. Quel test de déploiement convient ?
- Un détaillant en ligne veut introduire progressivement un nouveau modèle de recommandation et détecter tôt les régressions, avant que tous les utilisateurs le reçoivent. Quel test de déploiement convient, et comment fonctionne-t-il ?
- Une équipe ne veut vérifier le retour arrière qu'une fois qu'un déploiement a réellement échoué. Que dire à ce sujet ?
- Après une mise à jour de modèle échouée, le pipeline de données doit lui aussi être remis dans son état précédent. Quelles affirmations sur le test de retour arrière sont correctes ?
- Un modèle a été compressé pour un appareil edge et converti dans un autre format. Sur l'appareil, il est plus rapide, mais certaines prédictions s'écartent. Quel test couvre cela, et que vérifie-t-il ?
- Un système ML ne peut pas démarrer sur un nouveau serveur parce qu'un pilote GPU adapté manque. Quel test de déploiement aurait dû détecter cela ?
- Un modèle fonctionne correctement dans le cloud mais produit des erreurs sur d'anciens smartphones. Quel test de déploiement traite ce risque ?
- Un client signale que l'interface d'un service ML ne renvoie aucun message d'erreur compréhensible pour des entrées erronées et n'est pas conforme aux normes. Quel test est concerné, et que couvre-t-il ?
- Une équipe veut comparer un nouveau modèle à l'existant avec des données réelles et détecter aussi la dérive des données et les régressions de performance sans affecter les utilisateurs. Quelles affirmations sont correctes ?
- Quelles associations entre risque de déploiement et test de déploiement sont correctes ?
- Une entreprise prévoit d'introduire un nouveau modèle en trois étapes : d'abord en parallèle sans affecter les utilisateurs, puis pour un petit sous-ensemble d'utilisateurs, puis pour tous. Quels tests correspondent aux deux premières étapes ?