ISTQB CT-AI
Características de calidad y criterios de aceptación
Fácil
Características de calidad según ISO/IEC 25059
- ¿Qué norma amplía el modelo de calidad de ISO/IEC 25010 con aspectos específicos de la IA?
- ¿Desde qué dos perspectivas evalúa ISO/IEC 25059 los sistemas basados en IA?
- ¿Por qué se ajustó la característica de corrección funcional para los sistemas basados en IA?
- ¿Qué describe la característica de calidad de adaptabilidad funcional?
- ¿Qué característica de calidad describe que una persona u otro sistema puede intervenir a tiempo en el funcionamiento de un sistema de IA?
- En ISO/IEC 25010 de 2023, ¿qué término sustituye a lo que antes se llamaba usabilidad?
- ¿A qué se refiere la característica de calidad de transparencia en los sistemas basados en IA?
- ¿Qué describe la característica de calidad de robustez de la IA?
- ¿Qué característica de calidad describe en qué medida un operador puede intervenir a tiempo en un sistema de IA para evitar daños o peligros?
- ¿A qué perspectiva pertenece la característica de calidad de mitigación de riesgos sociales y éticos?
IA y seguridad
- ¿Qué caracteriza a los sistemas relacionados con la seguridad (safety)?
- ¿Cómo se proporcionan implícitamente los requisitos de muchos sistemas basados en IA?
- ¿Qué herramienta es un ejemplo de técnicas de IA explicable?
- ¿Cómo clasifica el EU AI Act los sistemas de IA utilizados como componentes de seguridad, por ejemplo en la aviación, los productos sanitarios o los vehículos?
- ¿Cómo tratan la IA las normas internacionales maduras de seguridad funcional?
Criterios de aceptación
- ¿Qué forma suelen adoptar los criterios de aceptación de los sistemas basados en IA?
- ¿A qué característica de calidad pertenece el criterio de aceptación "exactitud del 95 % para un sistema de reconocimiento de imágenes"?
- Un criterio de aceptación dice: "Si un dron autónomo pierde la señal GPS e informa de una emergencia, un supervisor puede asumir el control en 0,5 segundos". ¿Qué característica de calidad se está probando?
- Un criterio de aceptación exige que el panel de control y la API devuelvan el identificador único de versión del modelo de predicción desplegado y un enlace a su documentación. ¿Qué característica de calidad está implicada?
- Un criterio de aceptación dice: "Un chatbot debe superar una evaluación interna de red teaming con al menos un 95 % y rechazar contenido que promueva la violencia, las autolesiones o el discurso de odio". ¿Qué característica de calidad se está probando?
Medio
Características de calidad según ISO/IEC 25059
- ¿Qué características de calidad son nuevas o están modificadas en ISO/IEC 25059 en comparación con ISO/IEC 25010?
- ¿A qué característica principal se asigna la adaptabilidad funcional como nueva subcaracterística?
- ¿A qué característica principal se asigna la robustez de la IA como nueva subcaracterística?
- ¿A qué característica principal se asigna la intervenibilidad como nueva subcaracterística?
- ¿A qué características principales se asigna la transparencia como nueva subcaracterística?
- ¿En qué circunstancias debe un sistema de IA robusto mantener su corrección funcional?
- ¿Qué ámbitos abarca, entre otros, la característica de mitigación de riesgos sociales y éticos?
- ¿Cómo afectan las características de calidad de ISO/IEC 25059 a las pruebas?
IA y seguridad
- ¿Qué desafíos adicionales plantea la IA a los sistemas relacionados con la seguridad?
- En relación con el no determinismo, ¿qué puede causar un comportamiento inesperado incluso en modelos de IA probados rigurosamente?
- ¿Por qué el autoaprendizaje socava el argumento de seguridad de un sistema?
- ¿Cuál es un ejemplo de salvaguarda para sistemas de autoaprendizaje?
- ¿Qué limitaciones tienen las técnicas de IA explicable como LIME?
Criterios de aceptación
- Un criterio de aceptación establece: "Un servicio de streaming de vídeo adapta su página de inicio para recomendar al menos un 40 % de documentales después de que un usuario haya visto tres documentales completos." ¿Qué característica se está probando?
- Un criterio de aceptación establece: "Si la cámara de IA exterior se sobrecalienta, cambia a un modelo más simple y de bajo consumo en lugar de fallar." ¿Qué característica se está probando?
- Un criterio de aceptación establece: "Antes de que el puesto de enclavamiento controlado por IA ejecute un ajuste de agujas marcado como crítico, el controlador dispone de 20 segundos para detenerlo." ¿Qué característica se está probando?
- ¿Qué criterios de aceptación son ejemplos de seguridad?
- ¿Qué dos normas proporcionan el marco integral para definir la calidad del software en los criterios de aceptación de sistemas basados en IA?
- Un criterio de aceptación exige que el equipo de compras de un modelo de ML adquirido a terceros pueda rastrear de dónde proceden sus datos de entrenamiento. ¿Qué característica se está probando?
- ¿Qué criterios de aceptación son ejemplos de corrección funcional de la IA?
Difícil
Características de calidad según ISO/IEC 25059
- Una unidad de negocio exige para un sistema de clasificación de ML: "El sistema no debe producir ni una sola clasificación errónea." ¿Cómo debe valorarse este requisito?
- Un sistema de reconocimiento de imágenes ofrece buenos resultados con imágenes de prueba limpias, pero muchos errores con imágenes ligeramente ruidosas o manipuladas deliberadamente. ¿Qué característica de calidad es deficiente?
- Un sistema de crédito rechaza solicitudes sin que los solicitantes ni los empleados sepan qué modelo en qué versión se utiliza y de dónde proceden los datos de entrenamiento. ¿Qué característica de calidad se ve afectada?
- ¿En qué se diferencian la controlabilidad por el usuario y la intervenibilidad?
- ¿Qué asociaciones entre característica de calidad y perspectiva son correctas según ISO/IEC 25059?
- Un sistema de recomendación se adapta a nuevas tendencias de los usuarios durante la operación, pero pierde exactitud ante valoraciones manipuladas. ¿Qué características hay que sopesar aquí entre sí?
IA y seguridad
- Un fabricante quiere demostrar la trazabilidad desde los requisitos hasta la implementación de un sistema de asistencia al frenado basado en IA. ¿Por qué resulta difícil?
- Un modelo de IA sometido a pruebas rigurosas para un sistema de control industrial reacciona de forma distinta en campo ante entradas casi idénticas. ¿Qué reto se muestra aquí?
- Un asistente que aprende por sí mismo en un centro de control se probó exhaustivamente antes del despliegue. ¿Qué medidas ayudan a que no se introduzca un comportamiento peligroso durante la operación?
- Un equipo quiere usar LIME en un sistema de IA relacionado con la seguridad para que las decisiones sean trazables. ¿Qué hay que tener en cuenta?
- Un fabricante de productos sanitarios quiere utilizar un módulo de IA como componente de seguridad y basarse únicamente en una norma madura de seguridad funcional. ¿Qué problemas hay?
- ¿Por qué es más difícil desarrollar sistemas relacionados con la seguridad con IA que sin IA?
Criterios de aceptación
- Un criterio de aceptación dice: "El sistema de control agrícola notifica al agricultor cuando el rendimiento visual de un sensor se degrada en más de un 30 % y permite la anulación manual inmediata; si no hay respuesta, se desactiva por completo a partir del 50 %." ¿A qué característica pertenece?
- ¿Qué criterios de aceptación comprueban la robustez de la IA?
- ¿Qué criterios de aceptación comprueban la intervenibilidad?
- Un criterio de aceptación para una central nuclear exige que el 100 % de las relaciones entrada-salida del modelo de ML puedan ser representadas por una herramienta de explicabilidad con una exactitud media de al menos el 99,9 %. ¿A qué ámbito pertenece?
- Un criterio de aceptación para un sistema de condenas exige que no discrimine entre grupos de población según una métrica de equidad especificada. ¿Qué afirmaciones sobre esto son correctas?
- Un director de proyecto quiere llevar a cabo la aceptación de un sistema de IA como si fuera software clásico, mediante casos de prueba individuales con "superado/no superado". ¿Qué se opone a ello?
- ¿Qué criterio de aceptación sería adecuado para la adaptabilidad funcional de un sistema de gestión del motor?
- Un sistema de predicción de defectos debe identificar como defectuosos al menos el 90 % de los módulos realmente defectuosos. ¿Qué afirmaciones sobre esto son correctas?