ISTQB CT-AI
Pruebas de modelos de ML: metamórficas, deriva, A/B
Fácil
Pruebas metamórficas
- ¿Qué son las pruebas metamórficas (MT)?
- ¿Qué describe una relación metamórfica (MR)?
- ¿Cuándo son especialmente útiles las pruebas metamórficas?
- ¿En qué áreas de aplicación de la IA se han utilizado ya las pruebas metamórficas?
- ¿Qué objetivo de prueba de las pruebas metamórficas describe que las salidas permanecen estables ante perturbaciones de la entrada?
- ¿De dónde derivan los probadores las relaciones metamórficas?
Deriva y ajuste del modelo
- ¿Qué es la deriva de datos (data drift)?
- ¿Qué es la deriva de concepto (concept drift)?
- ¿Cuál es un ejemplo de deriva de datos?
- ¿En qué se basan las pruebas de deriva dinámicas?
- ¿Qué es el sobreajuste (overfitting)?
- ¿Qué es el subajuste (underfitting)?
- ¿Cuándo deben realizarse las pruebas de sobreajuste y subajuste?
- ¿Qué comparan las pruebas de deriva estáticas?
Pruebas comparativas
- ¿Qué son las pruebas A/B?
- ¿Cuál es un ejemplo sencillo de pruebas A/B?
- ¿Qué técnicas estadísticas son las más populares para las pruebas A/B?
- ¿Qué son las pruebas back-to-back?
- ¿Qué hay que generar para las pruebas back-to-back?
- ¿Por qué, idealmente, el pseudo-oráculo y el sistema bajo prueba no deberían compartir componentes de software?
Medio
Pruebas metamórficas
- ¿Cuándo se elige normalmente la prueba metamórfica en lugar de la prueba tradicional basada en oráculo?
- ¿Cómo pueden validarse las relaciones metamórficas?
- ¿Qué limitaciones tiene la prueba metamórfica?
- ¿Cuál es un ejemplo de relación metamórfica monótona?
- ¿Para qué tipos de pruebas puede utilizarse la prueba metamórfica?
- ¿Qué se comprueba en la prueba metamórfica cuando una función es demasiado compleja para generar resultados esperados?
Deriva y ajuste del modelo
- ¿Cuál es un ejemplo de deriva de concepto?
- En un sistema de recomendación de películas, ¿qué es la retroalimentación directa y qué la indirecta del usuario?
- ¿Cómo se determina en las pruebas dinámicas de deriva si hay deriva?
- ¿Cómo se prueba el sobreajuste?
- ¿Cómo pueden detectarse el sobreajuste y el subajuste durante las pruebas?
- ¿Cómo se manifiesta el subajuste en las curvas de aprendizaje?
- ¿Qué valores indican subajuste?
Pruebas comparativas
- ¿Cómo ayuda la prueba A/B con el problema del oráculo de pruebas?
- ¿Qué requisito previo se necesita para probar actualizaciones de un sistema de IA con la prueba A/B?
- ¿Cómo puede utilizarse la prueba A/B en sistemas de autoaprendizaje?
- ¿Qué afirmaciones sobre el pseudo-oráculo en las pruebas back-to-back funcionales son correctas?
- ¿En qué situaciones aporta un valor especial la prueba back-to-back?
- ¿Cuál es una diferencia significativa entre la prueba A/B y la prueba back-to-back?
- ¿De dónde pueden proceder las entradas de prueba para la prueba back-to-back?
Difícil
Pruebas metamórficas
- Un clasificador de imágenes ha identificado correctamente una foto como «gato». ¿Qué casos de prueba de seguimiento resultan de una relación de invarianza?
- Se va a probar un modelo de solvencia crediticia. ¿Qué relación metamórfica es una relación de monotonía?
- Un motor de búsqueda devuelve 800 resultados para «zapatillas de running». ¿Qué caso de prueba de seguimiento resulta de una relación metamórfica sensata derivada del conocimiento del dominio?
- Un equipo deriva casos de prueba metamórficos de seguimiento a partir de un caso de prueba de origen que ha fallado. ¿Cuál es el problema?
- Para un modelo de seguros, un equipo usa la relación «a mayor edad, siempre mayor prima» y no encuentra defectos. Más tarde resulta que la edad y las enfermedades preexistentes interactúan. ¿Qué ha ocurrido aquí?
- Un equipo planea probar un sistema de optimización de rutas exclusivamente con pruebas metamórficas. ¿Qué se recomienda?
- Un equipo deriva varias relaciones metamórficas para un sistema de ML. ¿Qué afirmaciones al respecto son correctas?
- Un sistema de reconocimiento de voz ha transcrito correctamente una frase. ¿Qué casos de prueba de seguimiento pueden derivarse de relaciones metamórficas cuyo resultado esperado es la misma transcripción?
Deriva y ajuste del modelo
- ¿Qué asignaciones de situación y tipo de deriva son correctas?
- Un sistema de detección de fraude no recibe ninguna retroalimentación sobre si sus decisiones fueron correctas. ¿Cómo puede probarse aun así la deriva?
- Un servicio de streaming quiere comprobar si su modelo de recomendación está derivando y usa para ello los datos de visionado de los usuarios. ¿Qué afirmaciones son correctas?
- Un modelo alcanza un 95 % de exactitud en el conjunto de datos de validación, pero solo un 71 % en un conjunto de datos de prueba separado con ejemplos menos comunes. ¿Qué puede concluirse de ello?
- Un modelo alcanza un 61 % de exactitud con los datos de entrenamiento y un 59 % con los de validación; incluso con más épocas, los valores apenas mejoran. ¿Qué afirmaciones son correctas?
Pruebas comparativas
- Una ciudad quiere comprobar si una actualización de su sistema de enrutamiento de tráfico basado en IA mejora los trayectos. ¿Qué enfoque encaja?
- Un equipo espera que una prueba A/B proporcione los casos de prueba para un modelo nuevo. ¿Qué hay que decir al respecto?
- Un sistema de precios autoaprendiente hace un cambio durante la noche. ¿Cómo es aquí el uso de las pruebas A/B?
- Como pseudo-oráculo para pruebas back-to-back, un equipo construye un segundo modelo con la misma biblioteca de código abierto y el mismo algoritmo. Ambos modelos entregan siempre resultados coincidentes. ¿Qué hay que tener en cuenta?
- Un equipo debe construir un pseudo-oráculo para pruebas back-to-back funcionales con un presupuesto ajustado. ¿Qué afirmaciones ayudan?
- Un sistema de ML se migra del entorno de desarrollo al de producción. El equipo quiere asegurarse de que allí se comporta igual, sobre todo ante entradas inusuales. ¿Qué técnica es adecuada?
- Un equipo quiere, por un lado, averiguar cuál de dos variantes del modelo tiene mejor exactitud y, por otro, detectar defectos en una implementación nueva. ¿Qué técnicas encajan con cada finalidad?