ISTQB CT-AI
Métricas de ML y redes neuronales
Fácil
Métricas de rendimiento funcional de ML
- ¿Qué cuatro situaciones distingue una matriz de confusión en una clasificación?
- ¿Qué significa un falso positivo (FP) para un filtro de spam si "spam" es la clase positiva?
- ¿Cómo se calcula la exactitud (accuracy)?
- ¿Cómo se calcula la precisión (precision)?
- ¿Cómo se calcula la exhaustividad (recall)?
- ¿Qué otro nombre se utiliza para la exhaustividad (recall)?
- ¿Cómo se define el F1-score?
- Un clasificador produce TP = 40, TN = 50, FP = 5 y FN = 5. ¿Cuál es la exactitud?
- Un modelo ha predicho 40 casos como positivos, de los cuales 30 son realmente positivos. ¿Cuál es la precisión?
- Un conjunto de datos de prueba contiene 50 casos realmente positivos, de los cuales el modelo identifica 45 como positivos. ¿Cuál es la exhaustividad?
- ¿Por qué un modelo de clasificación rara vez predice todo correctamente en todo momento?
Redes neuronales
- ¿Qué tres tipos principales de capas tiene una red neuronal profunda?
- ¿Para qué se puede utilizar un perceptrón de una sola capa?
- ¿Cómo se denominan también las neuronas de las capas ocultas?
- ¿Qué es una época (epoch) al entrenar una red neuronal?
- ¿Cómo se inicializan típicamente los pesos y los valores de sesgo de una red neuronal al comienzo del entrenamiento?
- ¿Por qué se necesitan medidas de cobertura especiales para las redes neuronales?
- ¿Qué mide la cobertura de neuronas (neuron coverage)?
- ¿Cuál es la situación respecto a las herramientas comerciales para las medidas de cobertura de redes neuronales?
- ¿Cuál es la tarea de la capa de salida de una red neuronal?
Medio
Métricas de rendimiento funcional de ML
- Un clasificador da TP = 80, FP = 20, FN = 40 y TN = 860. ¿Cuáles son la precisión (precision) y la exhaustividad (recall)?
- Un modelo alcanza una precision del 80 % y un recall del 60 %. ¿Cuál es la puntuación F1 (redondeada)?
- Un clasificador da TP = 90, FP = 30, FN = 10 y TN = 70. ¿Qué valores son correctos?
- ¿Qué pregunta responde la precision?
- ¿Qué significa una puntuación F1 baja?
- Un modelo para la detección precoz del cáncer debe pasar por alto el menor número posible de casos reales de la enfermedad. ¿Qué métrica es la prioritaria?
- Un filtro de spam debe clasificar por error como spam el menor número posible de correos importantes. ¿Qué métrica (spam = positivo) es la prioritaria?
- ¿Qué rango de valores tiene la puntuación F1?
- Un modelo da TP = 45, FP = 5, FN = 15 y TN = 35. ¿Qué valores son correctos?
- ¿Qué afirmación sobre la presentación de la matriz de confusión es correcta?
- Un modelo da TP = 60, FP = 40, FN = 20 y TN = 880. ¿Cuál es la accuracy?
Redes neuronales
- ¿Cómo calcula una neurona (después de la capa de entrada) su valor de activación?
- ¿Qué ocurre durante el entrenamiento con el error (loss) entre la salida generada y el resultado correcto conocido?
- ¿Qué afirmaciones sobre el sesgo (bias) de una neurona son correctas?
- ¿Cómo procesa una red neuronal profunda los datos de entrada de camino a la salida?
- ¿Cómo se relacionan las redes totalmente conectadas y los perceptrones?
- ¿Cómo funciona la cobertura de neuronas por k secciones (k-multisection neuron coverage, kMNC)?
- ¿Qué mide la cobertura de límites de neuronas (neuron boundary coverage, NBC)?
- ¿Para qué se usan principalmente las medidas de cobertura en las redes neuronales?
- ¿Por qué la cobertura estructural por sí sola no basta para evaluar una red neuronal?
Difícil
Métricas de rendimiento funcional de ML
- De 1.000 transacciones, 10 son fraudulentas. Un modelo clasifica todas las transacciones como "no fraude" (fraude = positivo). ¿Qué afirmaciones son correctas?
- Un modelo arroja TP = 8, FP = 2, FN = 2 y TN = 988 para 1.000 casos. ¿Qué valores son correctos?
- El modelo A alcanza una precisión del 90 % y una exhaustividad del 50 %; el modelo B, una precisión del 70 % y una exhaustividad del 70 %. ¿Qué modelo tiene la puntuación F1 más alta?
- Un modelo clasifica como positivos los 1.000 casos; 50 son realmente positivos. ¿Qué valores resultan?
- Un modelo alcanza una exhaustividad del 90 %. El conjunto de datos de prueba contiene 200 casos realmente positivos. ¿Cuántos de ellos pasó por alto el modelo?
- Un modelo ha predicho 50 casos como positivos y alcanza una precisión del 80 %. ¿Cuántas falsas alarmas (falsos positivos) contiene?
- Se presenta una matriz de confusión con los ejes intercambiados: fila "realmente positivo": 70 predichos positivos, 30 predichos negativos; fila "realmente negativo": 10 predichos positivos, 890 predichos negativos. ¿Qué valores son correctos?
- En la detección de fraude, tanto los casos de fraude omitidos como las falsas alarmas son costosos. ¿Qué métrica es adecuada como criterio resumen único?
- Un modelo arroja TP = 50, FP = 50, FN = 0 y TN = 900. ¿Qué valores son correctos?
Redes neuronales
- ¿Qué función lógica puede aprender un perceptrón de una sola capa?
- ¿En qué orden se realizan los pasos del entrenamiento de una red neuronal?
- Dos redes por lo demás idénticas se diferencian solo en su función de activación. ¿Qué se deduce de ello?
- ¿Qué afirmaciones sobre las redes neuronales profundas son correctas?
- Una red tiene 200 neuronas. Durante las pruebas, la salida de 150 neuronas supera el umbral especificado. ¿Cuál es la cobertura de neuronas?
- Una red tiene 10 neuronas cuyos rangos de salida se dividen cada uno en k = 4 secciones. Durante las pruebas se activan 28 secciones. ¿Cuál es el kMNC?
- En una red con 50 neuronas, la salida de 5 neuronas durante las pruebas queda fuera del rango observado en el entrenamiento (por encima del máximo o por debajo del mínimo). ¿Qué medida con qué valor resulta?
- Un conjunto de pruebas alcanza el 100 % de cobertura de neuronas y, aun así, el modelo falla en campo con imágenes ligeramente rotadas. ¿Qué explicaciones y consecuencias hay?
- La evaluación de las pruebas muestra que un grupo de neuronas de una capa oculta nunca se activa. ¿Cómo debe reaccionar un probador?
- Un equipo quiere comprobar si sus pruebas cubren también el comportamiento más allá de las salidas de neuronas observadas en el entrenamiento. ¿Qué medida de cobertura encaja mejor?
- Un responsable de pruebas quiere usar la cobertura clásica de sentencias y de ramas como medida principal para una red neuronal. ¿Qué se opone a ello?