ISTQB CT-AI

Pruebas en el desarrollo y despliegue de ML

60 preguntas

Fácil

Riesgos del desarrollo de ML

  1. ¿En qué se centran las pruebas del desarrollo de ML?
  2. ¿Qué medida de mitigación ayuda contra el uso incorrecto o no previsto de las API de bibliotecas o frameworks como TensorFlow o PyTorch?
  3. ¿Qué medida de mitigación ayuda contra una instalación o compilación defectuosa del framework?
  4. ¿Qué medida de mitigación ayuda contra una mala usabilidad del framework?
  5. ¿Qué medida de mitigación ayuda contra las vulnerabilidades de seguridad del framework?
  6. ¿Qué medida de mitigación ayuda contra una selección subóptima del framework?
  7. ¿Qué medida de mitigación ayuda contra una documentación de usuario deficiente del framework?
  8. ¿Qué medida de mitigación ayuda contra una asignación defectuosa de los datos a los conjuntos de entrenamiento, validación y prueba?
  9. ¿Qué prueba muestra, antes del despliegue completo, si un modelo nuevo supone una mejora respecto al actual?
  10. ¿Qué medida de mitigación ayuda contra un rendimiento deficiente, por ejemplo un framework que responde con lentitud?

Pruebas de despliegue

  1. ¿Qué comprueban las pruebas de instalabilidad?
  2. ¿Qué comprueban las pruebas de reversión (rollback)?
  3. ¿Cuándo deben realizarse las pruebas de reversión?
  4. ¿Qué son las pruebas canario (canary testing)?
  5. ¿Qué son las pruebas en la sombra (shadow testing)?
  6. ¿Qué comprueban las pruebas de conversión del modelo?
  7. ¿Qué comprueban las pruebas entre dispositivos (cross-device testing)?
  8. ¿Qué comprueban las pruebas de API al desplegar un sistema de ML?
  9. ¿En qué entornos de destino debe funcionar un sistema de ML de forma correcta y fiable al desplegarse?
  10. ¿Qué métricas en tiempo real se monitorizan en las pruebas canario?

Medio

Riesgos del desarrollo de ML

  1. ¿Qué medidas de mitigación ayudan contra una implementación defectuosa de la evaluación por parte del framework?
  2. ¿Qué medidas de mitigación ayudan contra un defecto en una biblioteca utilizada por el framework o una implementación defectuosa del algoritmo?
  3. ¿Qué medidas de mitigación ayudan contra una selección subóptima del algoritmo?
  4. ¿Qué medidas de mitigación ayudan contra una selección subóptima de hiperparámetros, por ejemplo de la estructura de la red o la tasa de aprendizaje?
  5. ¿Qué medida de mitigación ayuda contra una mala selección del enfoque de evaluación, por ejemplo la validación cruzada de k iteraciones (k-fold)?
  6. ¿Qué medidas de mitigación ayudan contra un defecto de despliegue, por ejemplo al generar una versión modificada para una plataforma de destino?
  7. ¿Qué medidas de mitigación ayudan si un modelo desplegado es incompatible con el entorno operativo?
  8. ¿Qué medida de mitigación ayuda contra los problemas en el algoritmo, el modelo o el framework que introducen injusticia sistémica?
  9. ¿Por qué ayudan las pruebas de rendimiento funcional de ML contra la interpretación incorrecta de los resultados de las pruebas?
  10. ¿Contra qué riesgos ayudan las pruebas de humo?
  11. ¿Qué tipos de prueba sirven para verificar la robustez y la eficiencia en las pruebas del desarrollo de ML?

Pruebas de despliegue

  1. ¿Qué se comprueba, entre otras cosas, durante las pruebas de instalabilidad de un sistema de ML?
  2. ¿Qué puede abarcar la prueba de reversión?
  3. ¿Qué defectos pueden descubrir las pruebas en la sombra antes del despliegue completo?
  4. ¿Qué comprueba la prueba de conversión de modelos además de la exactitud predictiva?
  5. ¿Con qué sistemas externos se comprueban los flujos de integración durante las pruebas de API de un sistema de ML?
  6. ¿Qué distingue las pruebas canary de las pruebas en la sombra?
  7. ¿Cuál es el objetivo de las pruebas canary?
  8. Un modelo se convirtió del formato de entrenamiento a un formato de ejecución compacto para un teléfono inteligente. ¿Qué prueba de despliegue está prevista para esto?
  9. Un sistema de ML debe ejecutarse en teléfonos inteligentes Android, en dispositivos edge de fábricas y en servidores en la nube. ¿Qué prueba de despliegue es especialmente relevante?

Difícil

Riesgos del desarrollo de ML

  1. Un equipo sospecha que el cálculo de métricas de un framework entrega valores de F1 erróneos. ¿Qué mitigaciones se ajustan a este riesgo?
  2. Tras una actualización de PyTorch, el mismo modelo con los mismos datos entrega resultados distintos. ¿Qué riesgo está presente y qué mitigaciones encajan?
  3. Un equipo descubre que algunos registros aparecen tanto en el conjunto de datos de entrenamiento como en el de prueba. ¿Qué riesgo está presente y qué mitigación encaja?
  4. Dos ejecuciones de entrenamiento con configuración idéntica dan valores de exactitud ligeramente distintos, y un desarrollador extrae de ello conclusiones de gran alcance sobre un cambio de hiperparámetros. ¿Qué riesgo y qué mitigación encajan?
  5. ¿Qué asignaciones de riesgo y mitigación en el desarrollo de ML son correctas?
  6. Un equipo eligió la validación cruzada de k iteraciones (k-fold) con una división inadecuada y considera fiables los resultados. ¿Qué mitigación ayuda contra este riesgo de desarrollo?
  7. Se produjo un error al generar una versión adaptada del modelo para una plataforma de destino. ¿Qué mitigaciones encajan?
  8. Un equipo eligió un framework inadecuado para el uso previsto en dispositivos edge, y además sus respuestas son demasiado lentas. ¿Qué mitigaciones encajan?
  9. Un desarrollador llama a una función de una biblioteca de ML con los parámetros intercambiados sin que se notifique ningún error. ¿Qué riesgo está presente y qué mitigación encaja?

Pruebas de despliegue

  1. Un banco quiere comparar un nuevo modelo de detección de fraude con transacciones en vivo sin que los clientes se vean afectados por posibles decisiones erróneas del nuevo modelo. ¿Qué prueba de despliegue encaja?
  2. Un minorista en línea quiere introducir gradualmente un nuevo modelo de recomendación y detectar pronto las regresiones, antes de que todos los usuarios lo reciban. ¿Qué prueba de despliegue encaja y cómo funciona?
  3. Un equipo solo quiere comprobar la reversión una vez que un despliegue ha fallado realmente. ¿Qué hay que decir al respecto?
  4. Tras una actualización fallida del modelo, también se debe restablecer el pipeline de datos a su estado anterior. ¿Qué afirmaciones sobre las pruebas de reversión son correctas?
  5. Un modelo se comprimió para un dispositivo edge y se convirtió a otro formato. En el dispositivo es más rápido, pero algunas predicciones se desvían. ¿Qué prueba cubre esto y qué comprueba?
  6. Un sistema de ML no puede iniciarse en un servidor nuevo porque falta un controlador de GPU adecuado. ¿Qué prueba de despliegue debería haberlo detectado?
  7. Un modelo funciona correctamente en la nube pero produce errores en smartphones antiguos. ¿Qué prueba de despliegue aborda este riesgo?
  8. Un cliente informa de que la interfaz de un servicio de ML no devuelve ningún mensaje de error comprensible ante entradas defectuosas y no cumple los estándares. ¿Qué prueba es la responsable y qué abarca?
  9. Un equipo quiere comparar un nuevo modelo con el existente usando datos en vivo y detectar además la deriva de datos y las regresiones de rendimiento sin afectar a los usuarios. ¿Qué afirmaciones son correctas?
  10. ¿Qué asignaciones de riesgo de despliegue y prueba de despliegue son correctas?
  11. Una empresa planea introducir un nuevo modelo en tres pasos: primero en paralelo sin afectar a los usuarios, luego para un pequeño subconjunto de usuarios y después para todos. ¿Qué pruebas encajan con los dos primeros pasos?

Certificaciones y exámenes

¿Qué examen viene después?

Ya puedes practicar 51 exámenes y 16 están en votación. Mira todas las certificaciones con información oficial, vota o propón tu examen.

Ver todas las certificaciones