ISTQB CT-AI

Pruebas de modelos de ML: riesgos, rendimiento, ataques

60 preguntas

Fácil

Riesgos de los modelos de ML

  1. ¿Qué medida de mitigación corresponde al riesgo de los "ejemplos adversarios"?
  2. ¿Qué medida de mitigación ayuda contra una deriva de datos o de concepto inaceptable?
  3. ¿Qué medida de mitigación ayuda si el despliegue de un modelo actualizado pudiera causar un fallo inmediato?
  4. ¿Qué medida de mitigación ayuda contra una eficiencia de rendimiento inadecuada del modelo de ML?
  5. ¿Qué medida de mitigación ayuda contra una documentación deficiente del modelo?
  6. ¿Qué medida de mitigación ayuda contra un defecto en la API del modelo?

Documentación del modelo

  1. ¿Por qué es tan importante la documentación de los modelos de ML?
  2. ¿Qué son las fichas de modelo (model cards)?
  3. ¿Qué describen las "datasheets for datasets"?
  4. ¿Qué papel desempeña una auditoría de la documentación en los sistemas de alto riesgo?
  5. ¿A qué sección de la documentación de modelos de ML pertenecen el plan de despliegue, las métricas de monitorización y el plan de reversión?

Pruebas de rendimiento funcional

  1. ¿Qué evalúan las pruebas de rendimiento funcional de ML?
  2. ¿Qué significa la abreviatura MoE en relación con los criterios de aceptación estadísticos?
  3. ¿Cómo debe redactarse un informe de pruebas sobre el rendimiento funcional de un modelo de ML probabilístico?
  4. ¿Qué requisitos debe cumplir el conjunto de datos de prueba para las pruebas de rendimiento funcional?

Pruebas adversarias

  1. ¿Qué son los ejemplos adversarios?
  2. ¿Cuál es el objetivo de las pruebas adversarias?
  3. ¿Qué distingue un ataque adversario de un ejemplo adversario accidental?
  4. ¿Por qué el conocimiento de caja blanca facilita las pruebas adversarias?
  5. ¿Qué desafíos plantean las pruebas adversarias?

Medio

Riesgos de los modelos de ML

  1. ¿Qué tipos de riesgo aborda la prueba de modelos de ML?
  2. ¿Qué medidas de mitigación ayudan contra el problema del oráculo de pruebas en los modelos de ML?
  3. ¿Qué medidas de mitigación ayudan con unos requisitos de sistema deficientes?
  4. ¿Qué medidas de mitigación ayudan contra la falta de robustez del modelo debida a entradas inesperadas?
  5. ¿Qué medidas de mitigación son adecuadas para actualizaciones del modelo que introducen defectos o reducen el rendimiento funcional?
  6. ¿Contra qué riesgos ayuda el red teaming?
  7. ¿Qué medidas de mitigación son adecuadas para los riesgos "el modelo causa efectos secundarios" y "el modelo muestra reward hacking"?

Documentación del modelo

  1. ¿Cuáles son los objetivos de revisar la documentación de un modelo de ML con una lista de comprobación?
  2. ¿Qué contenidos pertenecen a la sección "conjuntos de datos" de la documentación de un modelo de ML?
  3. ¿Qué contenidos pertenecen a la sección "uso" de la documentación de un modelo de ML?
  4. ¿Qué papel desempeña la transparencia en la documentación de un modelo?

Pruebas de rendimiento funcional

  1. ¿Qué es un requisito previo para las pruebas de rendimiento funcional de sistemas de ML probabilísticos?
  2. ¿Qué ocurre si el nivel de confianza se fija al aumentar el número de pruebas?
  3. ¿Qué ocurre si el margen de error se fija al aumentar el número de pruebas?
  4. ¿Cuántos casos de prueba se necesitan para confirmar "98 % de exactitud con un margen de error de ±4 % y un nivel de confianza del 95 %" en todas las condiciones?
  5. ¿Qué permiten las pruebas secuenciales en las pruebas de rendimiento funcional?
  6. ¿Por qué las pruebas de rendimiento funcional de sistemas de ML probabilísticos van más allá de un simple "aprobado/suspendido"?

Pruebas adversarias

  1. ¿Cómo pueden realizarse las pruebas adversariales como pruebas de caja negra?
  2. ¿Qué supuesto subyace a la transferencia de entradas adversariales de un modelo equivalente al modelo original?
  3. ¿Cómo pueden realizarse las pruebas adversariales?

Difícil

Riesgos de los modelos de ML

  1. Tras una actualización del modelo, un equipo informa de que el nuevo modelo falla inmediatamente después del despliegue y de que, en otra versión, casos antes correctos ya no funcionan. ¿Qué mitigaciones se ajustan a estos dos riesgos?
  2. ¿Qué asignaciones de riesgo del modelo y mitigación son correctas?
  3. Un chatbot ofrece ocasionalmente orientaciones peligrosas y revela datos personales. ¿Qué mitigación se ajusta a estos riesgos?
  4. Un equipo no dispone ni de un oráculo de pruebas ni de requisitos precisos para un modelo nuevo. ¿Qué mitigaciones se ajustan a estos dos riesgos?

Documentación del modelo

  1. Al revisar la documentación de un modelo se aprecia que faltan detalles del conjunto de datos de prueba, de la independencia de las pruebas y de las actividades de prueba adversarias. ¿Qué sección de la documentación está incompleta y qué objetivo de la revisión se ve afectado?
  2. ¿Qué asignaciones de contenido y sección de la documentación de un modelo de ML son correctas?
  3. Un equipo debe describir de forma estandarizada ante un regulador el modelo y los datos de entrenamiento de un sistema de alto riesgo. ¿Qué marcos de documentación son adecuados y para qué?
  4. ¿Por qué es útil una revisión exhaustiva de la documentación del modelo también para sistemas que no se consideran de alto riesgo?

Pruebas de rendimiento funcional

  1. Para el criterio «98 % de exactitud con un margen de error de ±4 % y un nivel de confianza del 95 %», se planificaron 601 casos de prueba y se ejecutaron todos; 580 de ellos se superaron. ¿Se cumple el criterio?
  2. Para un sistema crítico para la seguridad (safety-critical) se aplica «99 % de fiabilidad con un 95 % de confianza». ¿Qué afirmaciones son correctas?
  3. Tras 601 casos de prueba, la exactitud observada es del 98 %. ¿Qué se aplica al margen de error medido con un nivel de confianza del 95 %?
  4. Un equipo usa pruebas secuenciales para el criterio «98 % de exactitud con ±4 % y un NC del 95 %», y la exactitud observada se mantiene constantemente en el 98 % o más. ¿Cuándo pueden detenerse las pruebas, aproximadamente?
  5. Un equipo mide la exactitud de un modelo con una muestra del conjunto de datos de entrenamiento e informa de «96 % ±3 % con un NC del 95 %». ¿Qué debe criticarse?
  6. ¿Qué informe de pruebas es adecuado para sistemas de ML probabilísticos?
  7. Un interesado solo exige «exactitud ≥ 95 %» para la aceptación. ¿Qué falta para un criterio de aceptación definido estadísticamente y para qué sirve?
  8. Un jefe de proyecto pregunta por qué se planifican nada menos que 601 casos de prueba para «98 % de exactitud con ±4 % y un NC del 95 %», aunque el modelo alcanza de todos modos alrededor del 98 %. ¿Cuál es el motivo?

Pruebas adversarias

  1. Un equipo solo tiene acceso por API al modelo de imágenes de un proveedor y quiere probarlo frente a ejemplos adversarios. ¿Qué enfoques son posibles?
  2. Un reconocedor de señales de tráfico clasifica mal una señal de stop después de que se cambiaran unos pocos píxeles, apenas visibles para las personas. ¿Qué afirmaciones son correctas?
  3. Un equipo de desarrollo tiene acceso completo a la arquitectura, los parámetros y el proceso de entrenamiento de su modelo. ¿Qué enfoque de pruebas adversarias suele ser entonces más fácil?
  4. Una empresa realizó pruebas adversarias una vez hace dos años y da el tema por zanjado. ¿Qué se opone a ello?

Certificaciones y exámenes

¿Qué examen viene después?

Ya puedes practicar 51 exámenes y 16 están en votación. Mira todas las certificaciones con información oficial, vota o propón tu examen.

Ver todas las certificaciones