ISTQB CT-AI
Testen der Eingabedaten
Risiken der Eingabedaten
Testen auf Verzerrung
Datenpipeline und Repräsentativität
- Womit beginnt der geschichtete Ansatz beim Testen einer Datenpipeline? Einfach
- Womit beginnt der Systemtest einer vollständig zusammengesetzten Datenpipeline? Einfach
- Worauf legt das Testen von Trainingspipelines oft den Schwerpunkt, im Unterschied zu Betriebspipelines? Einfach
- Was ermittelt der Test der Datenrepräsentativität? Einfach
- Wann sollte der Test der Datenrepräsentativität durchgeführt werden? Einfach
- Welche formalen statistischen Tests eignen sich beim Repräsentativitätstest für den Vergleich von Verteilungen? Einfach
Datensatz- und Labelprüfung
- Was prüft der Test von Datensatzbeschränkungen (Dataset Constraint Testing)? Einfach
- Welche Beschränkung prüft, ob ein Wert innerhalb eines vorgegebenen Bereichs liegt? Einfach
- Warum wird der Test von Datensatzbeschränkungen meist automatisiert? Einfach
- Bei welcher Art des maschinellen Lernens ist die Korrektheit der Labels besonders wesentlich? Einfach
- Was geschieht bei der Mehrfachannotation (Multiple Annotation)? Einfach
- Mit welchen Metriken kann die Übereinstimmung zwischen Annotatoren (IAA) gemessen werden? Einfach
- Welche Beschränkung prüft, ob ein Attributwert dem festgelegten Datentyp entspricht, etwa eine ganze Zahl statt einer Zeichenkette? Einfach
Risiken der Eingabedaten
Testen auf Verzerrung
- Welche Testansätze eignen sich zur Erkennung von Verzerrung? Mittel
- Wie hilft dynamisches Testen, Verzerrung in einem ML-Modell zu erkennen? Mittel
- In welcher Reihenfolge laufen die Schritte der Disparate-Impact-Analyse ab? Mittel
- Was ist bei der Disparate-Impact-Analyse mit Kombinationen sensibler Merkmale und mit unrealistischen Beispielen zu beachten? Mittel
- Was untersucht ein Review der Dokumentation eines Datensatzes beim Testen auf Verzerrung? Mittel
Datenpipeline und Repräsentativität
- Was wird beim Komponententest einer Datenpipeline geprüft? Mittel
- Was misst der Fehlerinjektionstest einer Datenpipeline? Mittel
- Wofür wird der Back-to-Back-Test im Systemtest einer Datenpipeline eingesetzt? Mittel
- Wozu dienen Reviews des Konfigurationsmanagements beim Testen von Datenpipelines? Mittel
- Welche drei Hauptschritte umfasst der Test der Datenrepräsentativität? Mittel
- Wie lassen sich beim Festlegen der Zielpopulation die erwarteten Betriebsdatenverteilungen und kritischen Grenzfälle ermitteln? Mittel
Datensatz- und Labelprüfung
- Welche Beschränkungen zählen zu den Mehrwert-Beschränkungen (Multi-Value Constraints)? Mittel
- Was prüft die Useful-Beschränkung? Mittel
- Welche Beschränkungen sind Vergleichsbeschränkungen (Comparison Constraints)? Mittel
- Worauf können niedrige Werte beim Inter-Annotator-Agreement (IAA) hinweisen? Mittel
- Was kann ein Datenpunkt mit hohem Loss beim Modelltraining anzeigen? Mittel
- Was kann eine niedrige Vorhersagekonfidenz eines trainierten Modells für einen Datenpunkt bedeuten? Mittel
Risiken der Eingabedaten
Testen auf Verzerrung
- Ein Kreditmodell soll auf Verzerrung geprüft werden. Das Team erzeugt Anträge, die bis auf das Geschlecht identisch sind, und stellt über viele Tests fest, dass sich die Entscheidungen signifikant unterscheiden. Welche Aussagen treffen zu? Schwer
- Bei einer Disparate-Impact-Analyse für Baufinanzierungen ändert ein Tester das Alter in kontrafaktischen Anträgen auf fünf Jahre. Was ist das Problem? Schwer
- Ein Bewerbungsfilter benachteiligt Bewerberinnen, weil die Trainingsdaten aus einer Zeit stammen, in der kaum Frauen eingestellt wurden. Welche Aussagen dazu treffen zu? Schwer
- Ein Team will herausfinden, ob sein Modell verzerrte Ergebnisse liefert, weiß aber nicht, ob die Ursache in den Daten oder in der Modellentwicklung liegt. Welcher Ansatz erkennt Verzerrung unabhängig von ihrer Ursache? Schwer
Datenpipeline und Repräsentativität
- Welche Zuordnungen von Pipeline-Test und Teststufe treffen zu? Schwer
- Eine neue Version der Betriebspipeline soll eingeführt werden, ohne den Live-Datenstrom zu verschlechtern. Welche Tests in der Produktion eignen sich dafür? Schwer
- Ein Team testet die Trainingspipeline eines explorativen Prototyps und die Betriebspipeline des Produkts mit identischer Strategie. Was wäre besser? Schwer
- Ein Hautkrebs-Klassifikator wurde nur mit Bildern einer einzigen Klinik trainiert und soll bundesweit eingesetzt werden. Welche Schritte des Repräsentativitätstests sind hier angebracht? Schwer
- Ein Modell wurde nach einem erfolgreichen Repräsentativitätstest trainiert und bereitgestellt. Was ist im Betrieb noch zu tun? Schwer
Datensatz- und Labelprüfung
- In einem Datensatz mit Wahlergebnissen ergeben die Stimmenanteile aller Parteien eines Wahlkreises zusammen 104 %, obwohl es genau 100 % sein müssten. Welche Beschränkung erkennt diesen Fehler? Schwer
- In einem Kundendatensatz stehen die Einträge „Alter = −3“ und „Alter = dreißig“, und bei einem Kunden fehlt das Alter ganz. Welche Beschränkungen erkennen diese Fehler? Schwer
- Ein Trainingsdatensatz enthält die Spalte „Kundennummer“ mit lauter eindeutigen Werten sowie mehrere nahezu identische Zeilen. Welche Beschränkungen schlagen hier an? Schwer
- In einem Datensatz zu Softwaremodulen hat ein Modul mehr fehlerhafte Codezeilen als Codezeilen insgesamt. Welche Beschränkung erkennt das? Schwer
- Eine Regel lautet: Alle Studierenden mit einer Punktzahl von mindestens 1,33 Standardabweichungen über dem Mittelwert haben die Note „A“. Welche Beschränkungsart ist das, und zu welcher Gruppe gehört sie? Schwer
- Ein Team hat nur Budget, um einen kleinen Teil von 100.000 Bildern durch Experten nachprüfen zu lassen. Welche Bilder sollten bevorzugt geprüft werden? Schwer
- In einem Objekterkennungsdatensatz sollen Begrenzungsrahmen (Bounding Boxes) automatisch geprüft werden. Welcher Ansatz und welche Regel passen? Schwer
- Ein Team will die Labelqualität über den gesamten Projektverlauf sichern. Welche Kombination ist oft besonders wirksam? Schwer
- Ein Team hat einen neuen gelabelten Datensatz zu Verkehrsszenen und kennt einen vergleichbaren öffentlichen Datensatz. Bei „Fußgänger“ ist der Label-Anteil fünfmal so hoch wie im Vergleichsdatensatz. Welcher Ansatz liegt vor, und was folgt daraus? Schwer