ISTQB CT-AI

Caractéristiques de qualité et critères d’acceptation

60 questions

Facile

Caractéristiques qualité selon l'ISO/IEC 25059

  1. Quelle norme étend le modèle de qualité de l'ISO/IEC 25010 avec des aspects spécifiques à l'IA ?
  2. Selon quelles deux perspectives l'ISO/IEC 25059 évalue-t-elle les systèmes basés sur l'IA ?
  3. Pourquoi la caractéristique d'exactitude fonctionnelle a-t-elle été ajustée pour les systèmes basés sur l'IA ?
  4. Que décrit la caractéristique de qualité d'adaptabilité fonctionnelle ?
  5. Quelle caractéristique de qualité décrit le fait qu'une personne ou un autre système puisse intervenir à temps dans le fonctionnement d'un système d'IA ?
  6. Dans l'ISO/IEC 25010 de 2023, quel terme remplace ce qu'on appelait auparavant l'utilisabilité ?
  7. À quoi se rapporte la caractéristique de qualité de transparence dans les systèmes basés sur l'IA ?
  8. Que décrit la caractéristique de qualité de robustesse de l'IA ?
  9. Quelle caractéristique de qualité décrit dans quelle mesure un opérateur peut intervenir à temps dans un système d'IA pour écarter un dommage ou un danger ?
  10. À quelle perspective la caractéristique de qualité d'atténuation des risques sociétaux et éthiques appartient-elle ?

IA et sécurité

  1. Qu'est-ce qui caractérise les systèmes relatifs à la sécurité (safety-related) ?
  2. Comment les exigences de nombreux systèmes basés sur l'IA sont-elles fournies implicitement ?
  3. Quel outil est un exemple de techniques d'IA explicable ?
  4. Comment le règlement européen sur l'IA (EU AI Act) classe-t-il les systèmes d'IA utilisés comme composants de sécurité, par exemple dans l'aviation, les dispositifs médicaux ou les véhicules ?
  5. Comment les normes internationales matures de sécurité fonctionnelle traitent-elles l'IA ?

Critères d'acceptation

  1. Quelle forme prennent souvent les critères d'acceptation des systèmes basés sur l'IA ?
  2. À quelle caractéristique de qualité appartient le critère d'acceptation « justesse de 95 % pour un système de reconnaissance d'images » ?
  3. Un critère d'acceptation énonce : « Si un drone autonome perd son signal GPS et signale une urgence, un superviseur peut en reprendre le contrôle en 0,5 seconde. » Quelle caractéristique de qualité est testée ?
  4. Un critère d'acceptation exige que le tableau de bord et l'API renvoient l'identifiant de version unique du modèle de prédiction déployé et un lien vers sa documentation. Quelle caractéristique de qualité est concernée ?
  5. Un critère d'acceptation énonce : « Un chatbot doit réussir une évaluation interne de red teaming avec au moins 95 % et refuser les contenus qui font la promotion de la violence, de l'automutilation ou des discours de haine. » Quelle caractéristique de qualité est testée ?

Moyen

Caractéristiques qualité selon l'ISO/IEC 25059

  1. Quelles caractéristiques de qualité sont nouvelles ou modifiées dans l'ISO/IEC 25059 par rapport à l'ISO/IEC 25010 ?
  2. À quelle caractéristique parente l'adaptabilité fonctionnelle est-elle rattachée en tant que nouvelle sous-caractéristique ?
  3. À quelle caractéristique parente la robustesse de l'IA est-elle rattachée en tant que nouvelle sous-caractéristique ?
  4. À quelle caractéristique parente l'intervenabilité est-elle rattachée en tant que nouvelle sous-caractéristique ?
  5. À quelles caractéristiques parentes la transparence est-elle rattachée en tant que nouvelle sous-caractéristique ?
  6. Dans quelles circonstances un système d'IA robuste doit-il conserver sa justesse fonctionnelle ?
  7. Quels domaines la caractéristique d'atténuation des risques sociétaux et éthiques couvre-t-elle, entre autres ?
  8. Comment les caractéristiques de qualité de l'ISO/IEC 25059 influencent-elles les tests ?

IA et sécurité

  1. Quels défis supplémentaires l'IA apporte-t-elle aux systèmes critiques pour la sûreté ?
  2. En lien avec le non-déterminisme, qu'est-ce qui peut provoquer un comportement inattendu même dans des modèles d'IA rigoureusement testés ?
  3. Pourquoi l'auto-apprentissage fragilise-t-il l'argumentaire de sûreté d'un système ?
  4. Lequel de ces éléments est un exemple de garde-fou pour les systèmes auto-apprenants ?
  5. Quelles limites les techniques d'IA explicable telles que LIME présentent-elles ?

Critères d'acceptation

  1. Un critère d'acceptation indique : « Un service de streaming vidéo adapte sa page d'accueil pour recommander au moins 40 % de documentaires après qu'un utilisateur a regardé trois documentaires de longue durée. » Quelle caractéristique est testée ?
  2. Un critère d'acceptation indique : « Si la caméra IA extérieure surchauffe, elle bascule vers un modèle plus simple et économe en énergie au lieu de tomber en panne. » Quelle caractéristique est testée ?
  3. Un critère d'acceptation indique : « Avant que le poste d'aiguillage piloté par IA n'exécute une position d'aiguillage marquée comme critique, le régulateur dispose de 20 secondes pour l'arrêter. » Quelle caractéristique est testée ?
  4. Lesquels de ces critères d'acceptation sont des exemples relatifs à la sûreté ?
  5. Quelles deux normes fournissent le cadre complet pour définir la qualité logicielle dans les critères d'acceptation des systèmes basés sur l'IA ?
  6. Un critère d'acceptation exige que l'équipe achats d'un modèle de ML acquis auprès d'un tiers puisse retracer l'origine de ses données d'entraînement. Quelle caractéristique est testée ?
  7. Lesquels de ces critères d'acceptation sont des exemples de justesse fonctionnelle de l'IA ?

Difficile

Caractéristiques qualité selon l'ISO/IEC 25059

  1. Une unité métier exige pour un système de classification par ML : « Le système ne doit produire aucune erreur de classification. » Comment évaluer cette exigence ?
  2. Un système de reconnaissance d'images donne de bons résultats sur des images de test propres, mais beaucoup d'erreurs sur des images légèrement bruitées ou délibérément manipulées. Quelle caractéristique de qualité est défaillante ?
  3. Un système de crédit rejette des demandes sans que les demandeurs ni les employés ne sachent quel modèle, dans quelle version, est utilisé ni d'où proviennent les données d'entraînement. Quelle caractéristique de qualité est concernée ?
  4. En quoi la contrôlabilité par l'utilisateur et l'intervenabilité diffèrent-elles ?
  5. Quelles associations entre caractéristique de qualité et perspective sont correctes selon l'ISO/IEC 25059 ?
  6. Un système de recommandation s'adapte aux nouvelles tendances des utilisateurs en cours d'exploitation, mais perd en exactitude face à des évaluations manipulées. Quelles caractéristiques faut-il ici mettre en balance ?

IA et sécurité

  1. Un fabricant veut démontrer la traçabilité des exigences jusqu'à l'implémentation pour un système d'aide au freinage basé sur l'IA. Pourquoi est-ce difficile ?
  2. Un modèle d'IA rigoureusement testé pour un système de commande industriel réagit différemment sur le terrain à des entrées presque identiques. Quel défi est ici illustré ?
  3. Un assistant auto-apprenant dans un centre de contrôle a été testé de manière exhaustive avant son déploiement. Quelles mesures aident à éviter qu'un comportement dangereux ne s'installe en exploitation ?
  4. Une équipe veut utiliser LIME pour un système d'IA lié à la sécurité afin de rendre les décisions traçables. Que faut-il prendre en compte ?
  5. Un fabricant de dispositifs médicaux veut utiliser un module d'IA comme composant de sécurité et se fier uniquement à une norme de sécurité fonctionnelle éprouvée. Quels sont les problèmes ?
  6. Pourquoi le développement de systèmes liés à la sécurité avec de l'IA est-il plus difficile que sans IA ?

Critères d'acceptation

  1. Un critère d'acceptation énonce : « Le système de pilotage agricole avertit l'agriculteur lorsque la performance visuelle d'un capteur se dégrade de plus de 30 % et permet une prise en main manuelle immédiate ; sans réponse, il se désactive complètement à partir de 50 %. » À quelle caractéristique appartient-il ?
  2. Quels critères d'acceptation testent la robustesse de l'IA ?
  3. Quels critères d'acceptation testent l'intervenabilité ?
  4. Un critère d'acceptation pour une centrale nucléaire exige que 100 % des relations entrée-sortie du modèle de ML puissent être restituées par un outil d'explicabilité avec une exactitude moyenne d'au moins 99,9 %. À quel domaine appartient-il ?
  5. Un critère d'acceptation pour un système d'aide à la condamnation exige qu'il ne discrimine pas entre des groupes de population selon une métrique d'équité spécifiée. Quelles affirmations à ce sujet sont correctes ?
  6. Un chef de projet veut réaliser la recette d'un système d'IA comme celle d'un logiciel classique, à l'aide de cas de test individuels avec « réussi/échoué ». Qu'est-ce qui s'y oppose ?
  7. Quel critère d'acceptation conviendrait pour l'adaptabilité fonctionnelle d'un système de gestion moteur ?
  8. Un système de prédiction de défauts doit identifier comme défectueux au moins 90 % des modules réellement défectueux. Quelles affirmations à ce sujet sont correctes ?

Certifications & examens

Quel examen pour la suite ?

Tu peux déjà t’entraîner pour 51 examens, 16 sont soumis au vote. Découvre toutes les certifications avec les infos officielles, vote ou propose ton examen.

Voir toutes les certifications