ISTQB CT-AI

Tests des modèles de ML : métamorphiques, dérive, A/B

60 questions

Facile

Tests métamorphiques

  1. Qu'est-ce que le test métamorphique (MT) ?
  2. Que décrit une relation métamorphique (MR) ?
  3. Quand le test métamorphique est-il particulièrement utile ?
  4. Dans quels domaines d'application de l'IA le test métamorphique a-t-il déjà été utilisé ?
  5. Quel objectif de test du test métamorphique décrit le fait que les sorties restent stables face aux perturbations de l'entrée ?
  6. D'où les testeurs dérivent-ils les relations métamorphiques ?

Dérive et ajustement du modèle

  1. Qu'est-ce que la dérive des données ?
  2. Qu'est-ce que la dérive de concept ?
  3. Lequel est un exemple de dérive des données ?
  4. Sur quoi repose le test de dérive dynamique ?
  5. Qu'est-ce que le surapprentissage ?
  6. Qu'est-ce que le sous-apprentissage ?
  7. Quand le test de surapprentissage et de sous-apprentissage doit-il avoir lieu ?
  8. Que compare le test de dérive statique ?

Tests comparatifs

  1. Qu'est-ce que le test A/B ?
  2. Lequel est un exemple simple de test A/B ?
  3. Quelles techniques statistiques sont les plus répandues pour le test A/B ?
  4. Qu'est-ce que le test back-to-back ?
  5. Que faut-il générer pour le test back-to-back ?
  6. Pourquoi le pseudo-oracle et le système testé ne devraient-ils idéalement pas partager de composants logiciels communs ?

Moyen

Tests métamorphiques

  1. Quand choisit-on typiquement le test métamorphique plutôt que le test traditionnel fondé sur un oracle ?
  2. Comment les relations métamorphiques peuvent-elles être validées ?
  3. Quelles limites le test métamorphique présente-t-il ?
  4. Quel est un exemple de relation métamorphique monotone ?
  5. Pour quels types de test le test métamorphique peut-il être utilisé ?
  6. Que vérifie-t-on dans le test métamorphique quand une fonction est trop complexe pour générer des résultats attendus ?

Dérive et ajustement du modèle

  1. Quel est un exemple de dérive de concept ?
  2. Dans un système de recommandation de films, qu'est-ce qui constitue un retour utilisateur direct et indirect ?
  3. Comment détermine-t-on dans le test de dérive dynamique si une dérive est présente ?
  4. Comment teste-t-on le surapprentissage ?
  5. Comment le surapprentissage et le sous-apprentissage peuvent-ils être détectés pendant les tests ?
  6. Comment le sous-apprentissage se manifeste-t-il dans les courbes d'apprentissage ?
  7. Quelles valeurs indiquent un sous-apprentissage ?

Tests comparatifs

  1. Comment le test A/B aide-t-il face au problème de l'oracle de test ?
  2. Quelle condition préalable est nécessaire pour tester les mises à jour d'un système d'IA par test A/B ?
  3. Comment le test A/B peut-il être utilisé pour les systèmes auto-apprenants ?
  4. Quelles affirmations sur le pseudo-oracle dans le test back-to-back fonctionnel sont correctes ?
  5. Dans quelles situations le test back-to-back apporte-t-il une valeur particulière ?
  6. Quelle est une différence significative entre le test A/B et le test back-to-back ?
  7. D'où peuvent provenir les entrées de test pour le test back-to-back ?

Difficile

Tests métamorphiques

  1. Un classifieur d'images a correctement identifié une photo comme « chat ». Quels cas de test de suivi résultent d'une relation d'invariance ?
  2. Un modèle de solvabilité doit être testé. Quelle relation métamorphique est une relation de monotonie ?
  3. Un moteur de recherche renvoie 800 résultats pour « chaussures de running ». Quel cas de test de suivi résulte d'une relation métamorphique sensée, dérivée de la connaissance du domaine ?
  4. Une équipe dérive des cas de test de suivi métamorphiques à partir d'un cas de test source qui a lui-même échoué. Quel est le problème ?
  5. Pour un modèle d'assurance, une équipe utilise la relation « un âge plus élevé entraîne toujours une prime plus élevée » et ne trouve aucun défaut. Il s'avère ensuite que l'âge et les maladies préexistantes interagissent. Que s'est-il passé ici ?
  6. Une équipe prévoit de tester un système d'optimisation d'itinéraires exclusivement par test métamorphique. Que recommande-t-on ?
  7. Une équipe dérive plusieurs relations métamorphiques pour un système ML. Quelles affirmations sont correctes à ce sujet ?
  8. Un système de reconnaissance vocale a correctement transcrit une phrase. Quels cas de test de suivi peuvent être dérivés de relations métamorphiques dont le résultat attendu est la même transcription ?

Dérive et ajustement du modèle

  1. Quelles associations entre situation et type de dérive sont correctes ?
  2. Un système de détection de fraude ne reçoit aucun retour sur l'exactitude de ses décisions. Comment la dérive peut-elle malgré tout être testée ?
  3. Un service de streaming veut vérifier si son modèle de recommandation dérive et utilise pour cela les données de visionnage des utilisateurs. Quelles affirmations sont correctes ?
  4. Un modèle atteint 95 % d'exactitude sur le jeu de données de validation mais seulement 71 % sur un jeu de données de test distinct comportant des exemples moins courants. Que peut-on en conclure ?
  5. Un modèle atteint 61 % d'exactitude sur les données d'entraînement et 59 % sur les données de validation ; même avec davantage d'époques, les valeurs ne s'améliorent guère. Quelles affirmations sont correctes ?

Tests comparatifs

  1. Une ville veut vérifier si une mise à jour de son système de routage du trafic basé sur l'IA améliore les trajets. Quelle approche convient ?
  2. Une équipe s'attend à ce qu'un test A/B fournisse les cas de test d'un nouveau modèle. Que dire à ce sujet ?
  3. Un système de tarification auto-apprenant effectue une modification pendant la nuit. À quoi ressemble ici l'utilisation du test A/B ?
  4. Comme pseudo-oracle pour un test back-to-back, une équipe construit un second modèle avec la même bibliothèque open source et le même algorithme. Les deux modèles fournissent toujours des résultats concordants. Que faut-il prendre en compte ?
  5. Une équipe doit construire un pseudo-oracle pour un test back-to-back fonctionnel avec un budget serré. Quelles affirmations sont utiles ?
  6. Un système ML est migré de l'environnement de développement vers l'environnement de production. L'équipe veut s'assurer qu'il s'y comporte de la même façon, notamment pour des entrées inhabituelles. Quelle technique convient ?
  7. Une équipe veut, d'une part, déterminer laquelle de deux variantes de modèle a la meilleure exactitude et, d'autre part, détecter des défauts dans une nouvelle implémentation. Quelles techniques correspondent à chaque objectif ?

Certifications & examens

Quel examen pour la suite ?

Tu peux déjà t’entraîner pour 51 examens, 16 sont soumis au vote. Découvre toutes les certifications avec les infos officielles, vote ou propose ton examen.

Voir toutes les certifications