ISTQB CT-AI

Tests des systèmes d’IA et de la GenAI

60 questions

Facile

Fondamentaux du test des systèmes basés sur l'IA

  1. Qu'est-ce qui caractérise un système basé sur l'IA verrouillé (locked) ?
  2. Quel est un exemple de système basé sur l'IA adaptatif ?
  3. Quel type de système basé sur l'IA est bien plus facile à tester ?
  4. Comment un système basé sur l'IA verrouillé mis à jour est-il typiquement traité ?
  5. Pourquoi un test isolé, comme un chat classé comme chien, ne peut-il pas refléter de façon fiable l'exactitude fonctionnelle d'un modèle ?
  6. Que décrit le problème de l'oracle de test ?
  7. Qu'est-ce qu'un oracle de substitution (proxy oracle) ?
  8. Quel est un exemple de définition de limites de sortie comme solution au problème de l'oracle de test ?

Test de l'IA générative

  1. Quelle approche de test est courante pour tester l'IA générative ?
  2. Qu'appelle-t-on le « problème d'explosion des entrées » lors du test de la GenAI ?
  3. À quoi servent les suites de benchmarks lors du test de l'IA générative ?
  4. Qu'est-ce que le red teaming (RT) ?
  5. Pourquoi le red teaming est-il particulièrement important pour l'IA générative ?
  6. Quand le red teaming est-il le plus efficace ?
  7. Qu'est-ce que le blue teaming ?

Niveaux de test et test basé sur les risques

  1. Quels deux niveaux de test spécialisés traitent les risques propres au ML ?
  2. Quelles données le test des données d'entrée considère-t-il ?
  3. À quels systèmes faut-il appliquer le test fondé sur les risques ?
  4. En quels trois domaines les risques propres au ML peuvent-ils être répartis le long du workflow de ML ?
  5. Que concerne le test du modèle de ML ?

Moyen

Fondamentaux du test des systèmes basés sur l'IA

  1. Où se situent de nombreux systèmes de GenAI, tels que les chatbots basés sur des LLM, entre systèmes verrouillés et systèmes adaptatifs ?
  2. Pourquoi même des systèmes d'IA verrouillés dotés de grands réseaux de neurones peuvent-ils présenter en pratique un comportement non déterministe ?
  3. Comment peut-on tester un système d'IA adaptatif avant son déploiement ?
  4. Comment peut-on vérifier que les adaptations d'un système d'IA adaptatif en exploitation sont sûres ?
  5. Quelles raisons plaident pour une approche statistique des tests de systèmes d'IA ?
  6. Avec quels moyens statistiques peut-on quantifier l'exactitude, l'équité et la robustesse d'un modèle ?
  7. Pourquoi faut-il tester un échantillon statistiquement significatif de scénarios issus des données opérationnelles ?
  8. Qu'est-ce qui cause le problème de l'oracle de test dans les systèmes d'IA ?
  9. Quelles approches existent pour le problème de l'oracle de test ?
  10. Pourquoi les testeurs doivent-ils spécifier des limites d'environnement telles que l'éclairage, la température ou la latence réseau ?
  11. Quelle limite la consultation d'experts du domaine présente-t-elle en tant qu'oracle de test ?

Test de l'IA générative

  1. Qu'évalue-t-on lors du test de l'IA générative ?
  2. Quels paramètres, en plus des prompts, influencent la sortie d'un système de GenAI ?
  3. Quelles mesures non fonctionnelles sont pertinentes pour les systèmes de GenAI ?
  4. Quels résultats nuisibles le red teaming vise-t-il par exemple à provoquer ?
  5. Quelles étapes l'approche typique du red teaming comprend-elle ?
  6. Avec quelles approches peut-on obtenir une couverture complète en red teaming ?

Niveaux de test et test basé sur les risques

  1. Que comprend le test d'intégration des composants d'un système de ML ?
  2. Que vérifie notamment le test système d'un système de ML ?
  3. Quels risques produit relèvent du domaine « modèle » ?

Difficile

Fondamentaux du test des systèmes basés sur l'IA

  1. Un équipementier automobile utilise un DNN entraîné et figé pour la reconnaissance des panneaux de signalisation et déploie un modèle réentraîné au bout d'un an. Quelles affirmations sont correctes ?
  2. Une équipe teste sur GPU un modèle verrouillé de classification d'images et obtient, dans de rares cas, des sorties légèrement différentes pour des entrées identiques. Comment faut-il classer cela ?
  3. On demande à un testeur de rédiger à l'avance des cas de test pour tous les comportements futurs d'un système de recommandation adaptatif. Que faut-il en dire ?
  4. Pourquoi tester des systèmes d'IA adaptatifs avant le déploiement est-il plus complexe que tester des systèmes verrouillés ?
  5. Une équipe a vérifié un modèle d'images avec 20 images de test, toutes classées correctement, et veut maintenant annoncer « 100 % correct ». Qu'est-ce qui s'y oppose ?
  6. Le fabricant d'un système d'IA médical doit démontrer à une autorité qu'un seuil d'équité est respecté. Quelles affirmations sont correctes ?
  7. Une équipe qui teste un assistant virtuel n'arrive pas à s'accorder sur les réponses « correctes » parce que les utilisateurs ont des attentes très différentes. Quelle cause du problème de l'oracle de test est présente, et qu'est-ce qui aide ?
  8. Pour un modèle de classification d'images, il existe beaucoup d'images de test non étiquetées mais aucun résultat attendu. Quelle approche convient ?
  9. Un système de tarification auto-apprenant a été accepté avec un ensemble de résultats attendus. Au bout de quelques semaines, nombre de ces tests échouent alors que le système fonctionne bien. Quelle en est la raison ?
  10. Un modèle d'évaluation de structures protéiques complexes fournit des résultats que les humains peuvent difficilement vérifier. Quelles affirmations sont correctes ?

Test de l'IA générative

  1. Une équipe fait vérifier automatiquement les images d'un générateur d'images par un système de reconnaissance d'images. Quelles affirmations à ce sujet sont correctes ?
  2. Un testeur reçoit d'un chatbot des réponses différentes au même prompt utilisateur selon la session. Quels facteurs sont des causes possibles ?
  3. Comment décide-t-on du « réussi » ou « échoué » lors du test de la GenAI si les sorties sont examinées manuellement ?
  4. Une entreprise veut recourir au red teaming pour rechercher des vulnérabilités de sécurité dans un LLM intégrant du RAG avant son lancement. Quelles attaques faut-il envisager ?
  5. Un chatbot de santé doit être vérifié sous l'angle de la sûreté par du red teaming. Quel est l'objectif, à la différence du red teaming de sécurité ?
  6. Quel est le rapport entre le red teaming et les benchmarks ?
  7. Une équipe prévoit du red teaming uniquement pour la sécurité. Quels autres domaines le red teaming peut-il couvrir, et quel rôle la réglementation joue-t-elle ?

Niveaux de test et test basé sur les risques

  1. Une entreprise utilise le modèle de langage d'un fournisseur cloud comme service et l'intègre dans son CRM. Quels niveaux et activités de test sont prévus pour cela ?
  2. Un DNN a été compressé pour un smartphone afin de le rendre plus petit. Quel niveau de test est particulièrement important ici, et que vérifie-t-on ?
  3. Quelles associations entre risque et domaine le long du workflow de ML sont correctes ?

Certifications & examens

Quel examen pour la suite ?

Tu peux déjà t’entraîner pour 51 examens, 16 sont soumis au vote. Découvre toutes les certifications avec les infos officielles, vote ou propose ton examen.

Voir toutes les certifications