Qwissit Künstliche Intelligenz

ISTQB CT-AI

ML-Modelltests: Risiken, Leistung, Angriffe

60 Fragen

Risiken von ML-Modellen

  1. Welche Gegenmaßnahme passt zum Risiko „gegnerische Beispiele“ (Adversarial Examples)? Einfach
  2. Welche Gegenmaßnahme hilft gegen unannehmbare Daten- oder Konzeptdrift? Einfach
  3. Welche Gegenmaßnahme hilft, wenn die Bereitstellung eines aktualisierten Modells sofort zu einem Ausfall führen könnte? Einfach
  4. Welche Gegenmaßnahme hilft gegen eine unzureichende Performanz-Effizienz des ML-Modells? Einfach
  5. Welche Gegenmaßnahme hilft gegen mangelhafte Modelldokumentation? Einfach
  6. Welche Gegenmaßnahme hilft gegen einen Defekt in der Modell-API? Einfach

Modelldokumentation

  1. Warum ist die Dokumentation von ML-Modellen so wichtig? Einfach
  2. Was sind Model Cards? Einfach
  3. Was beschreiben „Datasheets for Datasets“? Einfach
  4. Welche Rolle spielt eine Dokumentationsprüfung bei Hochrisikosystemen? Einfach
  5. In welchen Abschnitt einer ML-Modelldokumentation gehören Bereitstellungsplan, Überwachungsmetriken und Rollback-Plan? Einfach

Funktionale Leistungstests

  1. Was bewertet der funktionale Leistungstest von ML? Einfach
  2. Wofür steht die Abkürzung MoE im Zusammenhang mit statistischen Abnahmekriterien? Einfach
  3. Wie sollte ein Testbericht zur funktionalen Leistung eines probabilistischen ML-Modells formuliert sein? Einfach
  4. Welche Anforderungen muss der Testdatensatz für funktionale Leistungstests erfüllen? Einfach

Gegnerisches Testen

  1. Was sind gegnerische Beispiele (Adversarial Examples)? Einfach
  2. Was ist das Ziel des gegnerischen Testens? Einfach
  3. Was unterscheidet einen gegnerischen Angriff von einem zufälligen gegnerischen Beispiel? Einfach
  4. Warum erleichtert White-Box-Wissen das gegnerische Testen? Einfach
  5. Welche Herausforderungen bringt gegnerisches Testen mit sich? Einfach

Risiken von ML-Modellen

  1. Welche Arten von Risiken adressiert der ML-Modelltest? Mittel
  2. Welche Gegenmaßnahmen helfen gegen das Testorakelproblem bei ML-Modellen? Mittel
  3. Welche Gegenmaßnahmen helfen bei mangelhaften Systemanforderungen? Mittel
  4. Welche Gegenmaßnahmen helfen gegen mangelnde Robustheit eines Modells durch unerwartete Eingaben? Mittel
  5. Welche Gegenmaßnahmen passen zu Modell-Updates, die Fehler einführen bzw. die funktionale Leistung verringern? Mittel
  6. Gegen welche Risiken hilft Red Teaming? Mittel
  7. Welche Gegenmaßnahmen passen zu den Risiken „Modell verursacht Nebenwirkungen“ und „Modell zeigt Reward Hacking“? Mittel

Modelldokumentation

  1. Welche Ziele verfolgt das Review einer ML-Modelldokumentation gegen eine Checkliste? Mittel
  2. Welche Inhalte gehören in den Abschnitt „Datensätze“ einer ML-Modelldokumentation? Mittel
  3. Welche Inhalte gehören in den Abschnitt „Verwendung“ (Usage) einer ML-Modelldokumentation? Mittel
  4. Welche Rolle spielt Transparenz für die Modelldokumentation? Mittel

Funktionale Leistungstests

  1. Was ist eine Voraussetzung für funktionale Leistungstests probabilistischer ML-Systeme? Mittel
  2. Was geschieht, wenn bei steigender Testzahl das Konfidenzniveau festgehalten wird? Mittel
  3. Was geschieht, wenn bei steigender Testzahl die Fehlerspanne festgehalten wird? Mittel
  4. Wie viele Testfälle sind nötig, um „98 % Accuracy mit ±4 % Fehlerspanne bei 95 % Konfidenzniveau“ unter allen Bedingungen zu bestätigen? Mittel
  5. Was ermöglicht sequenzielles Testen bei funktionalen Leistungstests? Mittel
  6. Warum geht der funktionale Leistungstest probabilistischer ML-Systeme über ein einfaches „bestanden/nicht bestanden“ hinaus? Mittel

Gegnerisches Testen

  1. Wie kann gegnerisches Testen als Black-Box-Test durchgeführt werden? Mittel
  2. Auf welcher Annahme beruht das Übertragen gegnerischer Eingaben von einem gleichwertigen Modell auf das Originalmodell? Mittel
  3. Wie kann gegnerisches Testen durchgeführt werden? Mittel

Risiken von ML-Modellen

  1. Nach einem Modell-Update meldet ein Team: Das neue Modell stürzt direkt nach der Bereitstellung ab, und in einer anderen Version funktionieren früher korrekte Fälle nicht mehr. Welche Gegenmaßnahmen passen zu diesen beiden Risiken? Schwer
  2. Welche Zuordnungen von Modellrisiko und Gegenmaßnahme treffen zu? Schwer
  3. Ein Chatbot liefert gelegentlich gefährliche Anleitungen und gibt persönliche Daten preis. Welche Gegenmaßnahme passt zu diesen Risiken? Schwer
  4. Ein Team hat für ein neues Modell weder ein Testorakel noch genaue Anforderungen. Welche Gegenmaßnahmen passen zu diesen beiden Risiken? Schwer

Modelldokumentation

  1. Beim Review einer Modelldokumentation fällt auf, dass Angaben zum Testdatensatz, zur Unabhängigkeit der Tests und zu den gegnerischen Testaktivitäten fehlen. Welcher Abschnitt der Dokumentation ist unvollständig, und welches Review-Ziel ist betroffen? Schwer
  2. Welche Zuordnungen von Inhalt und Abschnitt einer ML-Modelldokumentation treffen zu? Schwer
  3. Ein Team soll einem Regulierer Modell und Trainingsdaten eines Hochrisikosystems standardisiert beschreiben. Welche Dokumentationsrahmen eignen sich, und wofür? Schwer
  4. Warum ist ein gründliches Review der Modelldokumentation auch für Systeme sinnvoll, die nicht als hochriskant gelten? Schwer

Funktionale Leistungstests

  1. Für das Kriterium „98 % Accuracy mit ±4 % Fehlerspanne bei 95 % Konfidenzniveau“ wurden 601 Testfälle geplant und alle ausgeführt, 580 davon bestanden. Ist das Kriterium erfüllt? Schwer
  2. Für ein sicherheitskritisches System gilt „99 % Zuverlässigkeit mit 95 % Konfidenz“. Welche Aussagen treffen zu? Schwer
  3. Nach 601 Testfällen beträgt die beobachtete Accuracy 98 %. Was gilt für die gemessene Fehlerspanne bei 95 % Konfidenzniveau? Schwer
  4. Ein Team nutzt sequenzielles Testen für das Kriterium „98 % Accuracy mit ±4 % bei 95 % CL“, und die beobachtete Accuracy bleibt durchgehend bei mindestens 98 %. Wann kann etwa beendet werden? Schwer
  5. Ein Team misst die Accuracy eines Modells auf einer Stichprobe aus dem Trainingsdatensatz und berichtet „96 % ±3 % bei 95 % CL“. Was ist zu bemängeln? Schwer
  6. Welcher Testbericht ist für probabilistische ML-Systeme angemessen? Schwer
  7. Ein Stakeholder verlangt für die Abnahme nur „Accuracy ≥ 95 %“. Was fehlt für ein statistisch formuliertes Abnahmekriterium, und wozu dient es? Schwer
  8. Ein Projektleiter fragt, warum für „98 % Accuracy mit ±4 % bei 95 % CL“ ganze 601 Testfälle geplant werden, obwohl das Modell ohnehin etwa 98 % erreicht. Was ist die Begründung? Schwer

Gegnerisches Testen

  1. Ein Team hat nur API-Zugriff auf das Bildmodell eines Anbieters und will es auf gegnerische Beispiele testen. Welche Vorgehen kommen infrage? Schwer
  2. Ein Verkehrszeichenerkenner klassifiziert ein Stoppschild falsch, nachdem wenige, für Menschen kaum sichtbare Pixel verändert wurden. Welche Aussagen dazu treffen zu? Schwer
  3. Ein Entwicklerteam hat vollen Zugriff auf Architektur, Parameter und Trainingsprozess seines Modells. Welches Vorgehen beim gegnerischen Testen ist dann typischerweise einfacher? Schwer
  4. Ein Unternehmen hat vor zwei Jahren einmal gegnerisch getestet und hält das Thema für erledigt. Was spricht dagegen? Schwer

Zertifikate & Prüfungen

Welche Prüfung kommt als Nächstes?

19 Prüfungen kannst du schon üben, über 21 stimmst du gerade ab. Sieh dir alle Zertifikate mit offiziellen Infos an, gib deine Stimme ab oder schlag deine Prüfung vor.

Zur Zertifikatsübersicht