Qwissit Künstliche Intelligenz

ISTQB CT-AI

Testen der ML-Entwicklung und Bereitstellung

60 Fragen

Risiken der ML-Entwicklung

  1. Worauf konzentriert sich das Testen der ML-Entwicklung? Einfach
  2. Welche Gegenmaßnahme hilft gegen eine falsche oder unbeabsichtigte Nutzung von Bibliotheks- oder Framework-APIs wie TensorFlow oder PyTorch? Einfach
  3. Welche Gegenmaßnahme hilft gegen eine fehlerhafte Installation oder einen fehlerhaften Build des Frameworks? Einfach
  4. Welche Gegenmaßnahme hilft gegen eine schlechte Benutzerfreundlichkeit des Frameworks? Einfach
  5. Welche Gegenmaßnahme hilft gegen Sicherheitslücken im Framework? Einfach
  6. Welche Gegenmaßnahme hilft gegen eine suboptimale Auswahl des Frameworks? Einfach
  7. Welche Gegenmaßnahme hilft gegen eine mangelhafte Nutzerdokumentation des Frameworks? Einfach
  8. Welche Gegenmaßnahme hilft gegen eine fehlerhafte Aufteilung der Daten auf Trainings-, Validierungs- und Testdatensatz? Einfach
  9. Welcher Test zeigt vor der vollständigen Bereitstellung, ob ein neues Modell eine Verbesserung gegenüber dem aktuellen ist? Einfach
  10. Welche Gegenmaßnahme hilft gegen eine schlechte Performanz-Effizienz, etwa ein langsam reagierendes Framework? Einfach

Bereitstellungstests

  1. Was prüft ein Installierbarkeitstest (Installability Testing)? Einfach
  2. Was prüft ein Rollback-Test? Einfach
  3. Wann muss der Rollback-Test durchgeführt werden? Einfach
  4. Was ist ein Canary-Test? Einfach
  5. Was ist ein Shadow-Test? Einfach
  6. Was prüft ein Model-Conversion-Test? Einfach
  7. Was prüft ein Cross-Device-Test? Einfach
  8. Was prüft der API-Test bei der Bereitstellung eines ML-Systems? Einfach
  9. In welchen Zielumgebungen muss ein ML-System bei der Bereitstellung korrekt und zuverlässig funktionieren? Einfach
  10. Welche Echtzeitmetriken werden beim Canary-Test überwacht? Einfach

Risiken der ML-Entwicklung

  1. Welche Gegenmaßnahmen helfen gegen eine fehlerhafte Implementierung der Evaluierung durch das Framework? Mittel
  2. Welche Gegenmaßnahmen helfen gegen einen Fehler in einer vom Framework genutzten Bibliothek oder eine fehlerhafte Algorithmus-Implementierung? Mittel
  3. Welche Gegenmaßnahmen helfen gegen eine suboptimale Auswahl des Algorithmus? Mittel
  4. Welche Gegenmaßnahmen helfen gegen eine suboptimale Wahl der Hyperparameter, etwa Netzstruktur oder Lernrate? Mittel
  5. Welche Gegenmaßnahme hilft gegen eine schlechte Wahl des Evaluierungsansatzes, etwa der k-fachen Kreuzvalidierung? Mittel
  6. Welche Gegenmaßnahmen helfen gegen einen Bereitstellungsfehler, etwa beim Erzeugen einer veränderten Version für eine Zielplattform? Mittel
  7. Welche Gegenmaßnahmen helfen, wenn ein bereitgestelltes Modell nicht mit der Betriebsumgebung kompatibel ist? Mittel
  8. Welche Gegenmaßnahme hilft gegen Probleme in Algorithmus, Modell oder Framework, die systematische Ungerechtigkeit einführen? Mittel
  9. Warum hilft der funktionale Leistungstest gegen die falsche Interpretation von Testergebnissen? Mittel
  10. Gegen welche Risiken hilft ein Smoke-Test? Mittel
  11. Welche Testarten dienen beim Testen der ML-Entwicklung dazu, Robustheit und Effizienz zu prüfen? Mittel

Bereitstellungstests

  1. Was wird beim Installierbarkeitstest eines ML-Systems unter anderem geprüft? Mittel
  2. Was kann ein Rollback-Test umfassen? Mittel
  3. Welche Fehler kann ein Shadow-Test vor der vollständigen Bereitstellung aufdecken? Mittel
  4. Was prüft der Model-Conversion-Test neben der Vorhersagegenauigkeit? Mittel
  5. Mit welchen externen Systemen werden Integrationsabläufe beim API-Test eines ML-Systems geprüft? Mittel
  6. Was unterscheidet den Canary-Test vom Shadow-Test? Mittel
  7. Welches Ziel hat der Canary-Test? Mittel
  8. Ein Modell wurde für ein Smartphone aus dem Trainingsformat in ein kompaktes Laufzeitformat umgewandelt. Welcher Bereitstellungstest ist dafür vorgesehen? Mittel
  9. Ein ML-System soll auf Android-Smartphones, auf Edge-Geräten in Fabriken und auf Cloud-Servern laufen. Welcher Bereitstellungstest ist besonders einschlägig? Mittel

Risiken der ML-Entwicklung

  1. Ein Team vermutet, dass die Metrikberechnung eines Frameworks falsche F1-Werte liefert. Welche Gegenmaßnahmen passen zu diesem Risiko? Schwer
  2. Nach einem Update von PyTorch liefert dasselbe Modell mit denselben Daten andere Ergebnisse. Welches Risiko liegt vor, und welche Gegenmaßnahmen passen? Schwer
  3. Ein Team stellt fest, dass einige Datensätze sowohl im Trainings- als auch im Testdatensatz vorkommen. Welches Risiko liegt vor, und welche Gegenmaßnahme passt? Schwer
  4. Zwei Trainingsläufe mit identischer Konfiguration liefern leicht unterschiedliche Accuracy-Werte, und ein Entwickler zieht daraus weitreichende Schlüsse über eine Hyperparameteränderung. Welches Risiko und welche Gegenmaßnahme passen? Schwer
  5. Welche Zuordnungen von Risiko und Gegenmaßnahme in der ML-Entwicklung treffen zu? Schwer
  6. Ein Team wählte eine k-fache Kreuzvalidierung mit ungeeigneter Aufteilung und hält die Ergebnisse für verlässlich. Welche Gegenmaßnahme hilft gegen dieses Entwicklungsrisiko? Schwer
  7. Beim Erzeugen einer angepassten Modellversion für eine Zielplattform ist ein Fehler aufgetreten. Welche Gegenmaßnahmen passen? Schwer
  8. Ein Team hat ein Framework gewählt, das für den geplanten Einsatz auf Edge-Geräten ungeeignet ist, und dessen Antworten sind zudem zu langsam. Welche Gegenmaßnahmen passen? Schwer
  9. Ein Entwickler ruft eine Funktion einer ML-Bibliothek mit vertauschten Parametern auf, ohne dass ein Fehler gemeldet wird. Welches Risiko liegt vor, und welche Gegenmaßnahme passt? Schwer

Bereitstellungstests

  1. Ein Bankinstitut will ein neues Betrugserkennungsmodell mit Live-Transaktionen vergleichen, ohne dass Kunden von möglichen Fehlentscheidungen des neuen Modells betroffen sind. Welcher Bereitstellungstest passt? Schwer
  2. Ein Onlinehändler will ein neues Empfehlungsmodell schrittweise einführen und Regressionen früh erkennen, bevor alle Nutzer es erhalten. Welcher Bereitstellungstest passt, und wie läuft er ab? Schwer
  3. Ein Team will den Rollback erst prüfen, wenn eine Bereitstellung tatsächlich fehlgeschlagen ist. Was ist dazu zu sagen? Schwer
  4. Nach einem fehlgeschlagenen Modell-Update soll auch die Datenpipeline auf den alten Stand zurückgesetzt werden. Welche Aussagen zum Rollback-Test treffen zu? Schwer
  5. Ein Modell wurde für ein Edge-Gerät komprimiert und in ein anderes Format gebracht. Auf dem Gerät ist es schneller, aber manche Vorhersagen weichen ab. Welcher Test deckt das ab, und was prüft er? Schwer
  6. Ein ML-System lässt sich auf einem neuen Server nicht starten, weil ein passender GPU-Treiber fehlt. Welcher Bereitstellungstest hätte das erkennen sollen? Schwer
  7. Ein Modell läuft in der Cloud korrekt, liefert auf älteren Smartphones aber Fehler. Welcher Bereitstellungstest adressiert dieses Risiko? Schwer
  8. Ein Kunde meldet, dass die Schnittstelle eines ML-Dienstes bei fehlerhaften Eingaben keine verständliche Fehlermeldung liefert und nicht standardkonform ist. Welcher Test ist zuständig, und was umfasst er? Schwer
  9. Ein Team will ein neues Modell mit Live-Daten gegen das bestehende vergleichen und dabei auch Datendrift und Performanz-Regressionen erkennen, ohne Nutzer zu beeinträchtigen. Welche Aussagen treffen zu? Schwer
  10. Welche Zuordnungen von Bereitstellungsrisiko und Bereitstellungstest treffen zu? Schwer
  11. Ein Unternehmen plant die Einführung eines neuen Modells in drei Schritten: erst parallel ohne Einfluss auf Nutzer, dann für einen kleinen Teil der Nutzer, dann für alle. Welche Tests passen zu den ersten beiden Schritten? Schwer

Zertifikate & Prüfungen

Welche Prüfung kommt als Nächstes?

19 Prüfungen kannst du schon üben, über 21 stimmst du gerade ab. Sieh dir alle Zertifikate mit offiziellen Infos an, gib deine Stimme ab oder schlag deine Prüfung vor.

Zur Zertifikatsübersicht