ISTQB CT-AI
ML-Metriken und neuronale Netze
Funktionale Leistungsmetriken von ML
- Welche vier Situationen unterscheidet eine Konfusionsmatrix bei einer Klassifikation? Einfach
- Was bedeutet ein falsch positives Ergebnis (FP) bei einem Spamfilter, wenn „Spam“ die positive Klasse ist? Einfach
- Wie berechnet sich die Accuracy? Einfach
- Wie berechnet sich die Precision? Einfach
- Wie berechnet sich der Recall? Einfach
- Welcher andere Name wird für den Recall verwendet? Einfach
- Wie ist der F1-Score definiert? Einfach
- Ein Klassifikator liefert TP = 40, TN = 50, FP = 5 und FN = 5. Wie hoch ist die Accuracy? Einfach
- Ein Modell hat 40 Fälle als positiv vorhergesagt, davon sind 30 tatsächlich positiv. Wie hoch ist die Precision? Einfach
- In einem Testdatensatz gibt es 50 tatsächlich positive Fälle, von denen das Modell 45 als positiv erkennt. Wie hoch ist der Recall? Einfach
- Warum sagt ein Klassifikationsmodell selten immer alles richtig vorher? Einfach
Neuronale Netze
- Welche drei Hauptarten von Schichten hat ein tiefes neuronales Netz? Einfach
- Wofür kann ein einschichtiges Perzeptron eingesetzt werden? Einfach
- Wie werden die Neuronen in den verdeckten Schichten auch genannt? Einfach
- Was ist eine Epoche beim Training eines neuronalen Netzes? Einfach
- Wie werden Gewichte und Bias-Werte eines neuronalen Netzes zu Beginn des Trainings typischerweise initialisiert? Einfach
- Warum braucht man spezielle Überdeckungsmaße für neuronale Netze? Einfach
- Was misst die Neuronenüberdeckung (neuron coverage)? Einfach
- Wie steht es um kommerzielle Werkzeuge für Überdeckungsmaße neuronaler Netze? Einfach
- Welche Aufgabe hat die Ausgabeschicht eines neuronalen Netzes? Einfach
Funktionale Leistungsmetriken von ML
- Ein Klassifikator liefert TP = 80, FP = 20, FN = 40 und TN = 860. Wie hoch sind Precision und Recall? Mittel
- Ein Modell erreicht eine Precision von 80 % und einen Recall von 60 %. Wie hoch ist der F1-Score (gerundet)? Mittel
- Ein Klassifikator liefert TP = 90, FP = 30, FN = 10 und TN = 70. Welche Werte sind korrekt? Mittel
- Welche Frage beantwortet die Precision? Mittel
- Was bedeutet ein niedriger F1-Score? Mittel
- Ein Modell zur Krebsfrüherkennung soll möglichst keinen tatsächlichen Krankheitsfall übersehen. Welche Metrik steht im Vordergrund? Mittel
- Ein Spamfilter soll möglichst keine wichtige E-Mail fälschlich als Spam aussortieren. Welche Metrik (Spam = positiv) steht im Vordergrund? Mittel
- Welcher Wertebereich gilt für den F1-Score? Mittel
- Ein Modell liefert TP = 45, FP = 5, FN = 15 und TN = 35. Welche Werte sind korrekt? Mittel
- Welche Aussage zur Darstellung der Konfusionsmatrix trifft zu? Mittel
- Ein Modell liefert TP = 60, FP = 40, FN = 20 und TN = 880. Wie hoch ist die Accuracy? Mittel
Neuronale Netze
- Wie berechnet ein Neuron (außerhalb der Eingabeschicht) seinen Aktivierungswert? Mittel
- Was geschieht beim Training mit dem Fehler (Loss) zwischen erzeugter Ausgabe und bekanntem richtigem Ergebnis? Mittel
- Welche Aussagen zum Bias eines Neurons treffen zu? Mittel
- Wie verarbeitet ein tiefes neuronales Netz die Eingabedaten auf dem Weg zur Ausgabe? Mittel
- Wie hängen vollständig verbundene Netze und Perzeptrons zusammen? Mittel
- Wie funktioniert die k-Multisection-Neuronenüberdeckung (kMNC)? Mittel
- Was misst die Neuronengrenzüberdeckung (Neuron Boundary Coverage, NBC)? Mittel
- Wozu dienen Überdeckungsmaße für neuronale Netze vor allem? Mittel
- Warum reicht strukturelle Überdeckung allein nicht aus, um ein neuronales Netz zu bewerten? Mittel
Funktionale Leistungsmetriken von ML
- Unter 1.000 Transaktionen sind 10 betrügerisch. Ein Modell stuft alle Transaktionen als „kein Betrug“ ein (Betrug = positiv). Welche Aussagen sind korrekt? Schwer
- Ein Modell liefert bei 1.000 Fällen TP = 8, FP = 2, FN = 2 und TN = 988. Welche Werte sind korrekt? Schwer
- Modell A erreicht Precision 90 % und Recall 50 %, Modell B Precision 70 % und Recall 70 %. Welches Modell hat den höheren F1-Score? Schwer
- Ein Modell stuft alle 1.000 Fälle als positiv ein; tatsächlich positiv sind 50. Welche Werte ergeben sich? Schwer
- Ein Modell erreicht einen Recall von 90 %. Im Testdatensatz gibt es 200 tatsächlich positive Fälle. Wie viele davon hat das Modell übersehen? Schwer
- Ein Modell hat 50 Fälle als positiv vorhergesagt und erreicht eine Precision von 80 %. Wie viele Fehlalarme (falsch positive) enthält das? Schwer
- Eine Konfusionsmatrix ist mit vertauschten Achsen dargestellt: Zeile „tatsächlich positiv“: 70 als positiv, 30 als negativ vorhergesagt; Zeile „tatsächlich negativ“: 10 als positiv, 890 als negativ vorhergesagt. Welche Werte sind korrekt? Schwer
- Bei einer Betrugserkennung sind sowohl übersehene Betrugsfälle als auch Fehlalarme teuer. Welche Metrik eignet sich als ein zusammenfassendes Kriterium? Schwer
- Ein Modell liefert TP = 50, FP = 50, FN = 0 und TN = 900. Welche Werte sind korrekt? Schwer
Neuronale Netze
- Welche logische Funktion kann ein einschichtiges Perzeptron lernen? Schwer
- In welcher Reihenfolge laufen die Schritte beim Training eines neuronalen Netzes ab? Schwer
- Zwei sonst identische Netze unterscheiden sich nur in der Aktivierungsfunktion. Was folgt daraus? Schwer
- Welche Aussagen über tiefe neuronale Netze treffen zu? Schwer
- Ein Netz hat 200 Neuronen. Beim Testen überschreitet die Ausgabe von 150 Neuronen den festgelegten Schwellenwert. Wie hoch ist die Neuronenüberdeckung? Schwer
- Ein Netz hat 10 Neuronen, deren Ausgabebereiche jeweils in k = 4 Abschnitte geteilt werden. Beim Testen werden 28 Abschnitte aktiviert. Wie hoch ist die kMNC? Schwer
- Bei einem Netz mit 50 Neuronen liegt die Ausgabe von 5 Neuronen beim Testen außerhalb des im Training beobachteten Bereichs (über dem Maximum oder unter dem Minimum). Welches Maß mit welchem Wert ergibt sich? Schwer
- Eine Testsuite erreicht 100 % Neuronenüberdeckung, trotzdem versagt das Modell im Feld bei leicht gedrehten Bildern. Welche Erklärungen und Konsequenzen gibt es? Schwer
- Bei der Testauswertung zeigt sich, dass eine Gruppe von Neuronen in einer verdeckten Schicht nie aktiviert wird. Wie sollte ein Tester reagieren? Schwer
- Ein Team möchte prüfen, ob seine Tests auch Verhalten jenseits der im Training beobachteten Neuronenausgaben abdecken. Welches Überdeckungsmaß passt am besten? Schwer
- Ein Testmanager will für ein neuronales Netz die klassische Anweisungs- und Zweigüberdeckung als Hauptmaß verwenden. Was spricht dagegen? Schwer