ISTQB CT-AI
Tests des données d’entrée
Facile
Risques liés aux données d'entrée
- Quel est l'objectif du test des données d'entrée ?
- Quelle mesure d'atténuation correspond au risque « données d'entraînement obtenues auprès de sources peu fiables » ?
- Quelle mesure d'atténuation correspond à une sélection de caractéristiques sous-optimale ?
Test des biais
- Que signifie le biais dans un système de ML ?
- Quelles sont les deux principales sources de biais dans les systèmes de ML ?
- Lequel est un exemple de biais algorithmique ?
- Que sont les contrefactuels dans l'analyse de l'impact disparate ?
Pipeline de données et représentativité
- Par quoi commence l'approche par couches du test d'un pipeline de données ?
- Par quoi commence le test système d'un pipeline de données entièrement assemblé ?
- Sur quoi se concentre souvent le test des pipelines d'entraînement, contrairement aux pipelines opérationnels ?
- Que détermine le test de représentativité des données ?
- Quand faut-il effectuer le test de représentativité des données ?
- Quels tests statistiques formels conviennent pour comparer des distributions lors du test de représentativité ?
Vérification des jeux de données et des étiquettes
- Que vérifie le test des contraintes du jeu de données ?
- Quelle contrainte vérifie qu'une valeur se situe dans une plage donnée ?
- Pourquoi le test des contraintes du jeu de données est-il généralement automatisé ?
- Dans quel type d'apprentissage automatique la justesse des étiquettes est-elle particulièrement essentielle ?
- Que se passe-t-il dans l'annotation multiple ?
- Quelles métriques permettent de mesurer l'accord inter-annotateurs (IAA) ?
- Quelle contrainte vérifie qu'une valeur d'attribut correspond au type de données spécifié, par exemple un entier au lieu d'une chaîne ?
Moyen
Risques liés aux données d'entrée
- Quelles mesures d'atténuation aident contre les données d'entraînement empoisonnées ?
- Contre quels risques le test des contraintes du jeu de données est-il utile ?
- Contre quels risques le test de représentativité des données est-il utile ?
Test des biais
- Quelles approches de test conviennent pour détecter les biais ?
- Comment le test dynamique aide-t-il à détecter un biais dans un modèle de ML ?
- Dans quel ordre se déroulent les étapes de l'analyse de l'impact disparate ?
- Que faut-il prendre en compte dans l'analyse de l'impact disparate avec des combinaisons d'attributs sensibles et avec des exemples irréalistes ?
- Qu'examine une revue de la documentation d'un jeu de données lors du test de biais ?
Pipeline de données et représentativité
- Que vérifie-t-on lors du test de composants d'un pipeline de données ?
- Que mesure le test par injection de fautes d'un pipeline de données ?
- À quoi sert le test back-to-back dans le test système d'un pipeline de données ?
- À quoi servent les revues de gestion de configuration lors du test des pipelines de données ?
- Quelles sont les trois étapes principales du test de représentativité des données ?
- Comment identifier les distributions de données opérationnelles attendues et les cas limites critiques lors de la définition de la population cible ?
Vérification des jeux de données et des étiquettes
- Quelles contraintes sont des contraintes multivaleurs ?
- Que vérifie la contrainte useful ?
- Quelles contraintes sont des contraintes de comparaison ?
- Que peuvent indiquer de faibles scores d'accord inter-annotateurs (IAA) ?
- Que peut indiquer un point de données à perte élevée pendant l'entraînement du modèle ?
- Que peut signifier une faible confiance de prédiction d'un modèle entraîné pour un point de données ?
Difficile
Risques liés aux données d'entrée
- Une équipe constate qu'après une mise à jour non contrôlée d'un script de transformation, le pipeline de données fournit des valeurs erronées et devient plus lent en exploitation. Quelle mesure d'atténuation correspond à ces risques ?
- Quelles associations entre risque lié aux données d'entrée et mesure d'atténuation sont correctes ?
Test des biais
- Un modèle de crédit doit être vérifié quant aux biais. L'équipe génère des demandes identiques à l'exception du genre et constate, sur de nombreux tests, que les décisions diffèrent de manière significative. Quelles affirmations sont correctes ?
- Dans une analyse d'impact disproportionné pour des prêts immobiliers, un testeur fixe l'âge à cinq ans dans les demandes contrefactuelles. Quel est le problème ?
- Un filtre de candidatures désavantage les candidates parce que les données d'entraînement datent d'une époque où presque aucune femme n'était embauchée. Quelles affirmations sont correctes à ce sujet ?
- Une équipe veut savoir si son modèle produit des résultats biaisés, mais ignore si la cause se situe dans les données ou dans le développement du modèle. Quelle approche détecte un biais indépendamment de sa cause ?
Pipeline de données et représentativité
- Quelles associations entre test du pipeline et niveau de test sont correctes ?
- Une nouvelle version du pipeline opérationnel doit être introduite sans dégrader le flux de données réel. Quels tests en production conviennent pour cela ?
- Une équipe teste le pipeline d'entraînement d'un prototype exploratoire et le pipeline opérationnel du produit avec une stratégie identique. Que serait-il préférable de faire ?
- Un classifieur de cancers de la peau a été entraîné uniquement avec des images d'une seule clinique et doit être utilisé à l'échelle nationale. Quelles étapes du test de représentativité sont appropriées ici ?
- Un modèle a été entraîné puis déployé après un test de représentativité réussi. Que reste-t-il à faire en exploitation ?
Vérification des jeux de données et des étiquettes
- Dans un jeu de données de résultats électoraux, les parts de voix de tous les partis d'une circonscription totalisent 104 %, alors qu'elles devraient faire exactement 100 %. Quelle contrainte détecte ce défaut ?
- Un jeu de données clients contient les entrées « âge = −3 » et « âge = trente », et pour un client l'âge est entièrement absent. Quelles contraintes détectent ces défauts ?
- Un jeu de données d'entraînement contient la colonne « numéro de client » avec uniquement des valeurs uniques ainsi que plusieurs lignes quasi identiques. Quelles contraintes sont déclenchées ici ?
- Dans un jeu de données sur des modules logiciels, un module a plus de lignes de code défectueuses que de lignes de code au total. Quelle contrainte détecte cela ?
- Une règle énonce : tous les étudiants dont la note est supérieure d'au moins 1,33 écart-type à la moyenne ont la mention « A ». De quel type de contrainte s'agit-il, et à quel groupe appartient-elle ?
- Une équipe n'a le budget que pour faire examiner par des experts une petite partie de 100 000 images. Quelles images faut-il examiner de préférence ?
- Les boîtes englobantes d'un jeu de données de détection d'objets doivent être vérifiées automatiquement. Quelle approche et quelle règle conviennent ?
- Une équipe veut garantir la qualité des étiquettes tout au long du projet. Quelle combinaison est souvent la plus efficace ?
- Une équipe dispose d'un nouveau jeu de données étiqueté de scènes de circulation et connaît un jeu de données public comparable. Pour « piéton », la part d'étiquettes est cinq fois plus élevée que dans le jeu de comparaison. De quelle approche s'agit-il, et qu'en découle-t-il ?