ISTQB CT-AI
Tests des systèmes d’IA et de la GenAI
Facile
Fondamentaux du test des systèmes basés sur l'IA
- Qu'est-ce qui caractérise un système basé sur l'IA verrouillé (locked) ?
- Quel est un exemple de système basé sur l'IA adaptatif ?
- Quel type de système basé sur l'IA est bien plus facile à tester ?
- Comment un système basé sur l'IA verrouillé mis à jour est-il typiquement traité ?
- Pourquoi un test isolé, comme un chat classé comme chien, ne peut-il pas refléter de façon fiable l'exactitude fonctionnelle d'un modèle ?
- Que décrit le problème de l'oracle de test ?
- Qu'est-ce qu'un oracle de substitution (proxy oracle) ?
- Quel est un exemple de définition de limites de sortie comme solution au problème de l'oracle de test ?
Test de l'IA générative
- Quelle approche de test est courante pour tester l'IA générative ?
- Qu'appelle-t-on le « problème d'explosion des entrées » lors du test de la GenAI ?
- À quoi servent les suites de benchmarks lors du test de l'IA générative ?
- Qu'est-ce que le red teaming (RT) ?
- Pourquoi le red teaming est-il particulièrement important pour l'IA générative ?
- Quand le red teaming est-il le plus efficace ?
- Qu'est-ce que le blue teaming ?
Niveaux de test et test basé sur les risques
- Quels deux niveaux de test spécialisés traitent les risques propres au ML ?
- Quelles données le test des données d'entrée considère-t-il ?
- À quels systèmes faut-il appliquer le test fondé sur les risques ?
- En quels trois domaines les risques propres au ML peuvent-ils être répartis le long du workflow de ML ?
- Que concerne le test du modèle de ML ?
Moyen
Fondamentaux du test des systèmes basés sur l'IA
- Où se situent de nombreux systèmes de GenAI, tels que les chatbots basés sur des LLM, entre systèmes verrouillés et systèmes adaptatifs ?
- Pourquoi même des systèmes d'IA verrouillés dotés de grands réseaux de neurones peuvent-ils présenter en pratique un comportement non déterministe ?
- Comment peut-on tester un système d'IA adaptatif avant son déploiement ?
- Comment peut-on vérifier que les adaptations d'un système d'IA adaptatif en exploitation sont sûres ?
- Quelles raisons plaident pour une approche statistique des tests de systèmes d'IA ?
- Avec quels moyens statistiques peut-on quantifier l'exactitude, l'équité et la robustesse d'un modèle ?
- Pourquoi faut-il tester un échantillon statistiquement significatif de scénarios issus des données opérationnelles ?
- Qu'est-ce qui cause le problème de l'oracle de test dans les systèmes d'IA ?
- Quelles approches existent pour le problème de l'oracle de test ?
- Pourquoi les testeurs doivent-ils spécifier des limites d'environnement telles que l'éclairage, la température ou la latence réseau ?
- Quelle limite la consultation d'experts du domaine présente-t-elle en tant qu'oracle de test ?
Test de l'IA générative
- Qu'évalue-t-on lors du test de l'IA générative ?
- Quels paramètres, en plus des prompts, influencent la sortie d'un système de GenAI ?
- Quelles mesures non fonctionnelles sont pertinentes pour les systèmes de GenAI ?
- Quels résultats nuisibles le red teaming vise-t-il par exemple à provoquer ?
- Quelles étapes l'approche typique du red teaming comprend-elle ?
- Avec quelles approches peut-on obtenir une couverture complète en red teaming ?
Niveaux de test et test basé sur les risques
Difficile
Fondamentaux du test des systèmes basés sur l'IA
- Un équipementier automobile utilise un DNN entraîné et figé pour la reconnaissance des panneaux de signalisation et déploie un modèle réentraîné au bout d'un an. Quelles affirmations sont correctes ?
- Une équipe teste sur GPU un modèle verrouillé de classification d'images et obtient, dans de rares cas, des sorties légèrement différentes pour des entrées identiques. Comment faut-il classer cela ?
- On demande à un testeur de rédiger à l'avance des cas de test pour tous les comportements futurs d'un système de recommandation adaptatif. Que faut-il en dire ?
- Pourquoi tester des systèmes d'IA adaptatifs avant le déploiement est-il plus complexe que tester des systèmes verrouillés ?
- Une équipe a vérifié un modèle d'images avec 20 images de test, toutes classées correctement, et veut maintenant annoncer « 100 % correct ». Qu'est-ce qui s'y oppose ?
- Le fabricant d'un système d'IA médical doit démontrer à une autorité qu'un seuil d'équité est respecté. Quelles affirmations sont correctes ?
- Une équipe qui teste un assistant virtuel n'arrive pas à s'accorder sur les réponses « correctes » parce que les utilisateurs ont des attentes très différentes. Quelle cause du problème de l'oracle de test est présente, et qu'est-ce qui aide ?
- Pour un modèle de classification d'images, il existe beaucoup d'images de test non étiquetées mais aucun résultat attendu. Quelle approche convient ?
- Un système de tarification auto-apprenant a été accepté avec un ensemble de résultats attendus. Au bout de quelques semaines, nombre de ces tests échouent alors que le système fonctionne bien. Quelle en est la raison ?
- Un modèle d'évaluation de structures protéiques complexes fournit des résultats que les humains peuvent difficilement vérifier. Quelles affirmations sont correctes ?
Test de l'IA générative
- Une équipe fait vérifier automatiquement les images d'un générateur d'images par un système de reconnaissance d'images. Quelles affirmations à ce sujet sont correctes ?
- Un testeur reçoit d'un chatbot des réponses différentes au même prompt utilisateur selon la session. Quels facteurs sont des causes possibles ?
- Comment décide-t-on du « réussi » ou « échoué » lors du test de la GenAI si les sorties sont examinées manuellement ?
- Une entreprise veut recourir au red teaming pour rechercher des vulnérabilités de sécurité dans un LLM intégrant du RAG avant son lancement. Quelles attaques faut-il envisager ?
- Un chatbot de santé doit être vérifié sous l'angle de la sûreté par du red teaming. Quel est l'objectif, à la différence du red teaming de sécurité ?
- Quel est le rapport entre le red teaming et les benchmarks ?
- Une équipe prévoit du red teaming uniquement pour la sécurité. Quels autres domaines le red teaming peut-il couvrir, et quel rôle la réglementation joue-t-elle ?
Niveaux de test et test basé sur les risques
- Une entreprise utilise le modèle de langage d'un fournisseur cloud comme service et l'intègre dans son CRM. Quels niveaux et activités de test sont prévus pour cela ?
- Un DNN a été compressé pour un smartphone afin de le rendre plus petit. Quel niveau de test est particulièrement important ici, et que vérifie-t-on ?
- Quelles associations entre risque et domaine le long du workflow de ML sont correctes ?