ISTQB CT-AI
Tests des modèles de ML : métamorphiques, dérive, A/B
Facile
Tests métamorphiques
- Qu'est-ce que le test métamorphique (MT) ?
- Que décrit une relation métamorphique (MR) ?
- Quand le test métamorphique est-il particulièrement utile ?
- Dans quels domaines d'application de l'IA le test métamorphique a-t-il déjà été utilisé ?
- Quel objectif de test du test métamorphique décrit le fait que les sorties restent stables face aux perturbations de l'entrée ?
- D'où les testeurs dérivent-ils les relations métamorphiques ?
Dérive et ajustement du modèle
- Qu'est-ce que la dérive des données ?
- Qu'est-ce que la dérive de concept ?
- Lequel est un exemple de dérive des données ?
- Sur quoi repose le test de dérive dynamique ?
- Qu'est-ce que le surapprentissage ?
- Qu'est-ce que le sous-apprentissage ?
- Quand le test de surapprentissage et de sous-apprentissage doit-il avoir lieu ?
- Que compare le test de dérive statique ?
Tests comparatifs
- Qu'est-ce que le test A/B ?
- Lequel est un exemple simple de test A/B ?
- Quelles techniques statistiques sont les plus répandues pour le test A/B ?
- Qu'est-ce que le test back-to-back ?
- Que faut-il générer pour le test back-to-back ?
- Pourquoi le pseudo-oracle et le système testé ne devraient-ils idéalement pas partager de composants logiciels communs ?
Moyen
Tests métamorphiques
- Quand choisit-on typiquement le test métamorphique plutôt que le test traditionnel fondé sur un oracle ?
- Comment les relations métamorphiques peuvent-elles être validées ?
- Quelles limites le test métamorphique présente-t-il ?
- Quel est un exemple de relation métamorphique monotone ?
- Pour quels types de test le test métamorphique peut-il être utilisé ?
- Que vérifie-t-on dans le test métamorphique quand une fonction est trop complexe pour générer des résultats attendus ?
Dérive et ajustement du modèle
- Quel est un exemple de dérive de concept ?
- Dans un système de recommandation de films, qu'est-ce qui constitue un retour utilisateur direct et indirect ?
- Comment détermine-t-on dans le test de dérive dynamique si une dérive est présente ?
- Comment teste-t-on le surapprentissage ?
- Comment le surapprentissage et le sous-apprentissage peuvent-ils être détectés pendant les tests ?
- Comment le sous-apprentissage se manifeste-t-il dans les courbes d'apprentissage ?
- Quelles valeurs indiquent un sous-apprentissage ?
Tests comparatifs
- Comment le test A/B aide-t-il face au problème de l'oracle de test ?
- Quelle condition préalable est nécessaire pour tester les mises à jour d'un système d'IA par test A/B ?
- Comment le test A/B peut-il être utilisé pour les systèmes auto-apprenants ?
- Quelles affirmations sur le pseudo-oracle dans le test back-to-back fonctionnel sont correctes ?
- Dans quelles situations le test back-to-back apporte-t-il une valeur particulière ?
- Quelle est une différence significative entre le test A/B et le test back-to-back ?
- D'où peuvent provenir les entrées de test pour le test back-to-back ?
Difficile
Tests métamorphiques
- Un classifieur d'images a correctement identifié une photo comme « chat ». Quels cas de test de suivi résultent d'une relation d'invariance ?
- Un modèle de solvabilité doit être testé. Quelle relation métamorphique est une relation de monotonie ?
- Un moteur de recherche renvoie 800 résultats pour « chaussures de running ». Quel cas de test de suivi résulte d'une relation métamorphique sensée, dérivée de la connaissance du domaine ?
- Une équipe dérive des cas de test de suivi métamorphiques à partir d'un cas de test source qui a lui-même échoué. Quel est le problème ?
- Pour un modèle d'assurance, une équipe utilise la relation « un âge plus élevé entraîne toujours une prime plus élevée » et ne trouve aucun défaut. Il s'avère ensuite que l'âge et les maladies préexistantes interagissent. Que s'est-il passé ici ?
- Une équipe prévoit de tester un système d'optimisation d'itinéraires exclusivement par test métamorphique. Que recommande-t-on ?
- Une équipe dérive plusieurs relations métamorphiques pour un système ML. Quelles affirmations sont correctes à ce sujet ?
- Un système de reconnaissance vocale a correctement transcrit une phrase. Quels cas de test de suivi peuvent être dérivés de relations métamorphiques dont le résultat attendu est la même transcription ?
Dérive et ajustement du modèle
- Quelles associations entre situation et type de dérive sont correctes ?
- Un système de détection de fraude ne reçoit aucun retour sur l'exactitude de ses décisions. Comment la dérive peut-elle malgré tout être testée ?
- Un service de streaming veut vérifier si son modèle de recommandation dérive et utilise pour cela les données de visionnage des utilisateurs. Quelles affirmations sont correctes ?
- Un modèle atteint 95 % d'exactitude sur le jeu de données de validation mais seulement 71 % sur un jeu de données de test distinct comportant des exemples moins courants. Que peut-on en conclure ?
- Un modèle atteint 61 % d'exactitude sur les données d'entraînement et 59 % sur les données de validation ; même avec davantage d'époques, les valeurs ne s'améliorent guère. Quelles affirmations sont correctes ?
Tests comparatifs
- Une ville veut vérifier si une mise à jour de son système de routage du trafic basé sur l'IA améliore les trajets. Quelle approche convient ?
- Une équipe s'attend à ce qu'un test A/B fournisse les cas de test d'un nouveau modèle. Que dire à ce sujet ?
- Un système de tarification auto-apprenant effectue une modification pendant la nuit. À quoi ressemble ici l'utilisation du test A/B ?
- Comme pseudo-oracle pour un test back-to-back, une équipe construit un second modèle avec la même bibliothèque open source et le même algorithme. Les deux modèles fournissent toujours des résultats concordants. Que faut-il prendre en compte ?
- Une équipe doit construire un pseudo-oracle pour un test back-to-back fonctionnel avec un budget serré. Quelles affirmations sont utiles ?
- Un système ML est migré de l'environnement de développement vers l'environnement de production. L'équipe veut s'assurer qu'il s'y comporte de la même façon, notamment pour des entrées inhabituelles. Quelle technique convient ?
- Une équipe veut, d'une part, déterminer laquelle de deux variantes de modèle a la meilleure exactitude et, d'autre part, détecter des défauts dans une nouvelle implémentation. Quelles techniques correspondent à chaque objectif ?