ISTQB CT-AI
Pruebas de datos de entrada
Fácil
Riesgos de los datos de entrada
- ¿Cuál es el objetivo de las pruebas de los datos de entrada?
- ¿Qué medida de mitigación corresponde al riesgo "datos de entrenamiento obtenidos de fuentes poco fiables"?
- ¿Qué medida de mitigación corresponde a una selección de características subóptima?
Pruebas de sesgo
- ¿Qué se entiende por sesgo (bias) en un sistema de ML?
- ¿Cuáles son las dos fuentes principales de sesgo en los sistemas de ML?
- ¿Cuál es un ejemplo de sesgo algorítmico?
- ¿Qué son los contrafactuales (counterfactuals) en el análisis de impacto dispar (disparate impact analysis)?
Pipeline de datos y representatividad
- ¿Cómo comienza el enfoque por capas para probar un pipeline de datos?
- ¿Cómo comienzan las pruebas de sistema de un pipeline de datos completamente ensamblado?
- ¿En qué se centran con frecuencia las pruebas de los pipelines de entrenamiento, a diferencia de los pipelines operativos?
- ¿Qué determinan las pruebas de representatividad de los datos?
- ¿Cuándo deben realizarse las pruebas de representatividad de los datos?
- ¿Qué pruebas estadísticas formales son adecuadas para comparar distribuciones en las pruebas de representatividad?
Verificación de conjuntos de datos y etiquetas
- ¿Qué comprueban las pruebas de restricciones del conjunto de datos?
- ¿Qué restricción comprueba si un valor se encuentra dentro de un rango dado?
- ¿Por qué las pruebas de restricciones del conjunto de datos suelen automatizarse?
- ¿En qué tipo de aprendizaje automático es especialmente esencial la corrección de las etiquetas?
- ¿Qué ocurre en la anotación múltiple?
- ¿Qué métricas pueden usarse para medir la concordancia entre anotadores (IAA)?
- ¿Qué restricción comprueba si el valor de un atributo coincide con el tipo de datos especificado, por ejemplo un entero en lugar de una cadena?
Medio
Riesgos de los datos de entrada
- ¿Qué medidas de mitigación ayudan contra los datos de entrenamiento envenenados?
- ¿Contra qué riesgos ayudan las pruebas de restricciones del conjunto de datos?
- ¿Contra qué riesgos ayudan las pruebas de representatividad de los datos?
Pruebas de sesgo
- ¿Qué enfoques de prueba son adecuados para detectar sesgo?
- ¿Cómo ayudan las pruebas dinámicas a detectar sesgo en un modelo de ML?
- ¿En qué orden se realizan los pasos del análisis de impacto dispar?
- ¿Qué hay que tener en cuenta en el análisis de impacto dispar con combinaciones de atributos sensibles y con ejemplos poco realistas?
- ¿Qué examina una revisión de la documentación de un conjunto de datos al probar el sesgo?
Pipeline de datos y representatividad
- ¿Qué se comprueba en las pruebas de componentes de un pipeline de datos?
- ¿Qué mide la prueba de inyección de fallos de un pipeline de datos?
- ¿Para qué se utilizan las pruebas back-to-back en las pruebas de sistema de un pipeline de datos?
- ¿Para qué sirven las revisiones de gestión de la configuración en las pruebas de pipelines de datos?
- ¿Cuáles son los tres pasos principales de las pruebas de representatividad de los datos?
- ¿Cómo pueden identificarse las distribuciones de datos operativos esperadas y los casos límite críticos al definir la población objetivo?
Verificación de conjuntos de datos y etiquetas
- ¿Qué restricciones son restricciones multivalor?
- ¿Qué comprueba la restricción útil?
- ¿Qué restricciones son restricciones de comparación?
- ¿Qué pueden indicar unas puntuaciones bajas de acuerdo entre anotadores (IAA)?
- ¿Qué puede indicar un punto de datos con pérdida alta durante el entrenamiento del modelo?
- ¿Qué puede significar una baja confianza de predicción de un modelo entrenado para un punto de datos?
Difícil
Riesgos de los datos de entrada
- Un equipo descubre que, tras una actualización no controlada de un script de transformación, el pipeline de datos entrega valores erróneos y se vuelve más lento en operación. ¿Qué mitigación se ajusta a estos riesgos?
- ¿Qué asignaciones de riesgo de los datos de entrada y mitigación son correctas?
Pruebas de sesgo
- Se va a comprobar si un modelo de crédito tiene sesgo. El equipo genera solicitudes idénticas salvo por el género y comprueba, tras muchas pruebas, que las decisiones difieren de forma significativa. ¿Qué afirmaciones son correctas?
- En un análisis de impacto dispar para hipotecas, un probador cambia la edad a cinco años en solicitudes contrafactuales. ¿Cuál es el problema?
- Un filtro de candidaturas perjudica a las candidatas porque los datos de entrenamiento proceden de una época en la que apenas se contrataba a mujeres. ¿Qué afirmaciones al respecto son correctas?
- Un equipo quiere averiguar si su modelo produce resultados sesgados, pero no sabe si la causa está en los datos o en el desarrollo del modelo. ¿Qué enfoque detecta el sesgo con independencia de su causa?
Pipeline de datos y representatividad
- ¿Qué asignaciones de prueba del pipeline y nivel de prueba son correctas?
- Se va a introducir una nueva versión del pipeline operativo sin degradar el flujo de datos en vivo. ¿Qué pruebas en producción son adecuadas para ello?
- Un equipo prueba con una estrategia idéntica el pipeline de entrenamiento de un prototipo exploratorio y el pipeline operativo del producto. ¿Qué sería mejor?
- Un clasificador de cáncer de piel se entrenó solo con imágenes de una única clínica y se va a usar en todo el país. ¿Qué pasos de las pruebas de representatividad son adecuados aquí?
- Un modelo se entrenó y se desplegó tras una prueba de representatividad satisfactoria. ¿Qué queda por hacer en operación?
Verificación de conjuntos de datos y etiquetas
- En un conjunto de datos de resultados electorales, los porcentajes de voto de todos los partidos de una circunscripción suman un 104 %, aunque deberían sumar exactamente un 100 %. ¿Qué restricción detecta este defecto?
- Un conjunto de datos de clientes contiene las entradas «age = −3» y «age = thirty», y de un cliente falta por completo la edad. ¿Qué restricciones detectan estos defectos?
- Un conjunto de datos de entrenamiento contiene la columna «número de cliente» con solo valores únicos, así como varias filas casi idénticas. ¿Qué restricciones se activan aquí?
- En un conjunto de datos sobre módulos de software, un módulo tiene más líneas de código defectuosas que líneas de código en total. ¿Qué restricción detecta esto?
- Una regla establece: todos los estudiantes con una nota al menos 1,33 desviaciones estándar por encima de la media tienen la calificación «A». ¿Qué tipo de restricción es esta y a qué grupo pertenece?
- Un equipo solo tiene presupuesto para que expertos revisen una pequeña parte de 100 000 imágenes. ¿Qué imágenes conviene revisar preferentemente?
- Se quieren comprobar automáticamente los cuadros delimitadores (bounding boxes) de un conjunto de datos de detección de objetos. ¿Qué enfoque y qué regla encajan?
- Un equipo quiere asegurar la calidad de las etiquetas durante todo el proyecto. ¿Qué combinación suele ser la más eficaz?
- Un equipo tiene un conjunto de datos nuevo, etiquetado, de escenas de tráfico y conoce un conjunto de datos público comparable. Para «peatón», la proporción de etiquetas es cinco veces mayor que en el conjunto de comparación. ¿Qué enfoque es este y qué se deduce de ello?