Qwissit Künstliche Intelligenz

ISTQB CT-AI

ML-Modelltests: Metamorph, Drift, A/B

60 Fragen

Metamorphes Testen

  1. Was ist metamorphes Testen (MT)? Einfach
  2. Was beschreibt eine metamorphe Relation (MR)? Einfach
  3. Wann ist metamorphes Testen besonders nützlich? Einfach
  4. In welchen KI-Anwendungsbereichen wurde metamorphes Testen bereits eingesetzt? Einfach
  5. Welches Testziel des metamorphen Testens beschreibt, dass Ausgaben bei Störungen der Eingabe stabil bleiben? Einfach
  6. Woraus leiten Tester metamorphe Relationen ab? Einfach

Drift und Anpassungsgüte

  1. Was ist Datendrift? Einfach
  2. Was ist Konzeptdrift? Einfach
  3. Welches ist ein Beispiel für Datendrift? Einfach
  4. Worauf ist dynamisches Drift-Testen angewiesen? Einfach
  5. Was ist Überanpassung (Overfitting)? Einfach
  6. Was ist Unteranpassung (Underfitting)? Einfach
  7. Wann sollte auf Über- und Unteranpassung getestet werden? Einfach
  8. Was vergleicht statisches Drift-Testen? Einfach

Vergleichende Tests

  1. Was ist ein A/B-Test? Einfach
  2. Welches ist ein einfaches Beispiel für einen A/B-Test? Einfach
  3. Welche statistischen Verfahren sind für A/B-Tests am verbreitetsten? Einfach
  4. Was ist ein Back-to-Back-Test? Einfach
  5. Was muss man für einen Back-to-Back-Test erzeugen? Einfach
  6. Warum sollten Pseudo-Orakel und Testobjekt idealerweise keine gemeinsamen Softwarekomponenten haben? Einfach

Metamorphes Testen

  1. Wann wird metamorphes Testen typischerweise dem klassischen orakelbasierten Testen vorgezogen? Mittel
  2. Wie können metamorphe Relationen validiert werden? Mittel
  3. Welche Grenzen hat metamorphes Testen? Mittel
  4. Welches ist ein Beispiel für eine monotone metamorphe Relation? Mittel
  5. Für welche Testarten lässt sich metamorphes Testen einsetzen? Mittel
  6. Was wird beim metamorphen Testen geprüft, wenn eine Funktion zu komplex ist, um erwartete Ergebnisse zu erzeugen? Mittel

Drift und Anpassungsgüte

  1. Welches ist ein Beispiel für Konzeptdrift? Mittel
  2. Was ist bei einem Filmempfehlungssystem direkte und was indirekte Nutzerrückmeldung? Mittel
  3. Wie wird beim dynamischen Drift-Testen festgestellt, ob Drift vorliegt? Mittel
  4. Wie wird auf Überanpassung getestet? Mittel
  5. Womit lassen sich Über- und Unteranpassung beim Testen erkennen? Mittel
  6. Wie zeigt sich Unteranpassung in den Lernkurven? Mittel
  7. Welche Werte deuten auf Unteranpassung hin? Mittel

Vergleichende Tests

  1. Wie hilft ein A/B-Test beim Testorakelproblem? Mittel
  2. Welche Voraussetzung braucht es, um Updates eines KI-Systems mit A/B-Tests zu prüfen? Mittel
  3. Wie kann ein A/B-Test bei selbstlernenden Systemen eingesetzt werden? Mittel
  4. Welche Aussagen zum Pseudo-Orakel beim funktionalen Back-to-Back-Test treffen zu? Mittel
  5. In welchen Situationen bietet der Back-to-Back-Test besonderen Nutzen? Mittel
  6. Worin liegt ein wesentlicher Unterschied zwischen A/B-Test und Back-to-Back-Test? Mittel
  7. Woher können die Testeingaben für einen Back-to-Back-Test stammen? Mittel

Metamorphes Testen

  1. Ein Bildklassifikator hat ein Foto korrekt als „Katze“ erkannt. Welche Folgetestfälle ergeben sich aus einer Invarianz-Relation? Schwer
  2. Ein Modell zur Kreditwürdigkeit soll getestet werden. Welche metamorphe Relation ist eine Monotonie-Relation? Schwer
  3. Eine Suchmaschine liefert für „Laufschuhe“ 800 Treffer. Welcher Folgetestfall folgt aus einer sinnvollen metamorphen Relation, die aus Domänenwissen abgeleitet ist? Schwer
  4. Ein Team leitet metamorphe Folgetestfälle von einem Ausgangstestfall ab, der selbst fehlgeschlagen ist. Welches Problem gibt es? Schwer
  5. Ein Team nutzt für ein Versicherungsmodell die Relation „höheres Alter ergibt immer eine höhere Prämie“ und findet keine Fehler. Später zeigt sich, dass Alter und Vorerkrankungen zusammenwirken. Was ist hier passiert? Schwer
  6. Ein Team plant, ein Routenoptimierungssystem ausschließlich metamorph zu testen. Was ist zu empfehlen? Schwer
  7. Ein Team leitet für ein ML-System mehrere metamorphe Relationen ab. Welche Aussagen dazu treffen zu? Schwer
  8. Ein Spracherkennungssystem hat einen Satz korrekt transkribiert. Welche Folgetestfälle lassen sich aus metamorphen Relationen ableiten, deren erwartetes Ergebnis dasselbe Transkript ist? Schwer

Drift und Anpassungsgüte

  1. Welche Zuordnungen von Situation und Driftart treffen zu? Schwer
  2. Ein Betrugserkennungssystem erhält keinerlei Rückmeldungen darüber, ob seine Entscheidungen richtig waren. Wie kann trotzdem auf Drift getestet werden? Schwer
  3. Ein Streamingdienst will prüfen, ob sein Empfehlungsmodell driftet, und nutzt dazu die Sehdaten der Nutzer. Welche Aussagen treffen zu? Schwer
  4. Ein Modell erreicht auf dem Validierungsdatensatz 95 % Accuracy, auf einem separaten Testdatensatz mit selteneren Beispielen aber nur 71 %. Was lässt sich daraus schließen? Schwer
  5. Ein Modell erreicht auf den Trainingsdaten 61 % und auf den Validierungsdaten 59 % Accuracy; auch mit mehr Epochen verbessern sich die Werte kaum. Welche Aussagen treffen zu? Schwer

Vergleichende Tests

  1. Eine Stadt will prüfen, ob ein Update ihres KI-gestützten Verkehrsleitsystems die Wege verbessert. Welches Vorgehen passt dafür? Schwer
  2. Ein Team erwartet, dass ein A/B-Test ihm die Testfälle für ein neues Modell liefert. Was ist dazu zu sagen? Schwer
  3. Ein selbstlernendes Preissystem nimmt nachts eine Änderung vor. Wie sieht der Einsatz von A/B-Tests hier aus? Schwer
  4. Ein Team baut als Pseudo-Orakel für einen Back-to-Back-Test ein zweites Modell mit derselben Open-Source-Bibliothek und demselben Algorithmus. Beide Modelle liefern immer übereinstimmende Ergebnisse. Was ist zu bedenken? Schwer
  5. Ein Team soll ein Pseudo-Orakel für einen funktionalen Back-to-Back-Test bauen, das Budget ist knapp. Welche Aussagen helfen? Schwer
  6. Ein ML-System wird von der Entwicklungs- in die Produktionsumgebung migriert. Das Team will sicherstellen, dass es sich dort gleich verhält, besonders bei ungewöhnlichen Eingaben. Welches Verfahren eignet sich? Schwer
  7. Ein Team will zum einen herausfinden, welche von zwei Modellvarianten die bessere Accuracy hat, zum anderen Fehler in einer neuen Implementierung aufdecken. Welche Verfahren passen jeweils? Schwer

Zertifikate & Prüfungen

Welche Prüfung kommt als Nächstes?

19 Prüfungen kannst du schon üben, über 21 stimmst du gerade ab. Sieh dir alle Zertifikate mit offiziellen Infos an, gib deine Stimme ab oder schlag deine Prüfung vor.

Zur Zertifikatsübersicht