ISTQB CT-AI
Pruebas de sistemas de IA y GenAI
Fácil
Fundamentos de las pruebas de sistemas basados en IA
- ¿Qué caracteriza a un sistema basado en IA bloqueado (locked)?
- ¿Cuál es un ejemplo de sistema basado en IA adaptativo?
- ¿Qué tipo de sistema basado en IA es mucho más fácil de probar?
- ¿Cómo se trata típicamente un sistema basado en IA bloqueado que ha sido actualizado?
- ¿Por qué una sola prueba, como un gato clasificado como perro, no puede reflejar de forma fiable la corrección funcional de un modelo?
- ¿Qué describe el problema del oráculo de pruebas?
- ¿Qué es un oráculo proxy?
- ¿Cuál es un ejemplo de definir límites de salida como solución al problema del oráculo de pruebas?
Pruebas de IA generativa
- ¿Qué enfoque de prueba es habitual al probar la IA generativa?
- ¿Qué se denomina "problema de la explosión de entradas" al probar la GenAI?
- ¿Para qué se utilizan las suites de benchmarks al probar la IA generativa?
- ¿Qué es el red teaming (RT)?
- ¿Por qué es especialmente importante el red teaming para la IA generativa?
- ¿Cuándo es más eficaz el red teaming?
- ¿Qué es el blue teaming?
Niveles de prueba y pruebas basadas en riesgos
- ¿Qué dos niveles de prueba especializados abordan los riesgos específicos del ML?
- ¿Qué datos considera la prueba de datos de entrada?
- ¿A qué sistemas debe aplicarse las pruebas basadas en riesgos?
- ¿En qué tres áreas pueden dividirse los riesgos específicos del ML a lo largo del flujo de trabajo de ML?
- ¿De qué se ocupan las pruebas del modelo de ML?
Medio
Fundamentos de las pruebas de sistemas basados en IA
- ¿Dónde se sitúan muchos sistemas de GenAI, como los chatbots basados en LLM, entre los sistemas bloqueados y los adaptativos?
- ¿Por qué incluso los sistemas de IA bloqueados con redes neuronales grandes pueden mostrar un comportamiento no determinista en la práctica?
- ¿Cómo se puede probar un sistema de IA adaptativo antes del despliegue?
- ¿Cómo se puede comprobar que las adaptaciones de un sistema de IA adaptativo en operación son seguras?
- ¿Qué razones apoyan un enfoque estadístico para probar sistemas de IA?
- ¿Con qué medios estadísticos se pueden cuantificar la exactitud, la equidad y la robustez de un modelo?
- ¿Por qué hay que probar una muestra estadísticamente significativa de escenarios de los datos operativos?
- ¿Qué causa el problema del oráculo de pruebas en los sistemas de IA?
- ¿Qué enfoques existen para el problema del oráculo de pruebas?
- ¿Por qué deben los probadores especificar límites del entorno como la iluminación, la temperatura o la latencia de red?
- ¿Qué limitación tiene consultar a expertos del dominio como oráculo de pruebas?
Pruebas de IA generativa
- ¿Qué se evalúa al probar la IA generativa?
- ¿Qué parámetros, además de los prompts, influyen en la salida de un sistema de GenAI?
- ¿Qué medidas no funcionales son relevantes para los sistemas de GenAI?
- ¿Qué resultados dañinos debe provocar, por ejemplo, el red teaming?
- ¿Qué pasos comprende el enfoque típico de red teaming?
- ¿Con qué enfoques se puede lograr una cobertura amplia en el red teaming?
Niveles de prueba y pruebas basadas en riesgos
Difícil
Fundamentos de las pruebas de sistemas basados en IA
- Un proveedor de automoción utiliza una DNN entrenada fija para el reconocimiento de señales de tráfico y despliega un modelo reentrenado tras un año. ¿Qué afirmaciones son correctas?
- Un equipo prueba un modelo bloqueado de clasificación de imágenes en GPU y, en casos raros, obtiene salidas ligeramente distintas para entradas idénticas. ¿Cómo debe clasificarse esto?
- A un probador se le pide que escriba de antemano casos de prueba para todos los comportamientos futuros de un sistema de recomendación adaptativo. ¿Qué hay que decir al respecto?
- ¿Por qué es más complejo probar sistemas de IA adaptativos antes del despliegue que probar sistemas bloqueados?
- Un equipo ha comprobado un modelo de imágenes con 20 imágenes de prueba, todas clasificadas correctamente, y ahora quiere informar de "100 % correcto". ¿Qué se opone a ello?
- El fabricante de un sistema de IA médico debe demostrar a una autoridad que se cumple un umbral de equidad. ¿Qué afirmaciones son correctas?
- Un equipo que prueba un asistente virtual no se pone de acuerdo sobre las respuestas "correctas" porque los usuarios tienen expectativas muy distintas. ¿Qué causa del problema del oráculo de pruebas está presente y qué ayuda?
- Para un modelo de clasificación de imágenes hay muchas imágenes de prueba sin etiquetar, pero no resultados esperados. ¿Qué enfoque encaja?
- Un sistema de precios que aprende por sí mismo fue aceptado con un conjunto de resultados esperados. Tras unas semanas, muchas de estas pruebas fallan aunque el sistema funciona bien. ¿Cuál es el motivo?
- Un modelo para evaluar estructuras complejas de proteínas entrega resultados que los humanos apenas pueden verificar. ¿Qué afirmaciones son correctas?
Pruebas de IA generativa
- Un equipo hace que un sistema de reconocimiento de imágenes compruebe automáticamente las imágenes de un generador de imágenes. ¿Qué afirmaciones sobre esto son correctas?
- Un probador recibe de un chatbot respuestas distintas al mismo prompt de usuario según la sesión. ¿Qué factores son posibles causas?
- ¿Cómo se decide "superado" o "fallido" al probar GenAI si las salidas se revisan manualmente?
- Una empresa quiere usar red teaming para comprobar, antes del lanzamiento, vulnerabilidades de seguridad en un LLM con integración de RAG. ¿Qué ataques deben considerarse?
- Se quiere comprobar la seguridad (safety) de un chatbot sanitario mediante red teaming. ¿Qué persigue esto, a diferencia del red teaming de seguridad (security)?
- ¿Cómo se relaciona el red teaming con los benchmarks?
- Un equipo planea el red teaming solo para la seguridad (security). ¿Qué otros ámbitos puede cubrir el red teaming y qué papel desempeña la regulación?
Niveles de prueba y pruebas basadas en riesgos
- Una empresa utiliza el modelo de lenguaje de un proveedor de nube como servicio y lo integra en su CRM. ¿Qué niveles y actividades de prueba están previstos para ello?
- Se comprimió una DNN para un smartphone con el fin de hacerla más pequeña. ¿Qué nivel de prueba es especialmente importante aquí y qué se comprueba?
- ¿Qué asociaciones entre riesgo y área a lo largo del flujo de trabajo de ML son correctas?