Qwissit Künstliche Intelligenz

ISTQB CT-AI

Testen von KI-Systemen und GenAI

60 Fragen

Grundlagen des Testens KI-basierter Systeme

  1. Was kennzeichnet ein starres (locked) KI-basiertes System? Einfach
  2. Welches ist ein Beispiel für ein adaptives KI-basiertes System? Einfach
  3. Welche Art von KI-basierten Systemen ist deutlich einfacher zu testen? Einfach
  4. Wie wird ein aktualisiertes starres KI-basiertes System typischerweise behandelt? Einfach
  5. Warum kann ein einzelner Test, etwa eine Katze, die als Hund klassifiziert wird, die funktionale Korrektheit eines Modells nicht zuverlässig abbilden? Einfach
  6. Was beschreibt das Testorakelproblem? Einfach
  7. Was ist ein Proxy-Orakel? Einfach
  8. Welches ist ein Beispiel für das Festlegen von Ausgabegrenzen als Lösung des Testorakelproblems? Einfach

Testen generativer KI

  1. Welcher Testansatz ist beim Testen generativer KI verbreitet? Einfach
  2. Was bezeichnet man beim Testen von GenAI als „Input-Explosion-Problem“? Einfach
  3. Wofür dienen Benchmark-Suiten beim Testen generativer KI? Einfach
  4. Was ist Red Teaming (RT)? Einfach
  5. Warum ist Red Teaming für generative KI besonders wichtig? Einfach
  6. Wann ist Red Teaming am wirksamsten? Einfach
  7. Was ist Blue Teaming? Einfach

Teststufen und risikobasiertes Testen

  1. Welche zwei speziellen Teststufen adressieren ML-spezifische Risiken? Einfach
  2. Welche Daten betrachtet der Eingabedatentest? Einfach
  3. Für welche Systeme soll risikobasiertes Testen angewendet werden? Einfach
  4. In welche drei Bereiche lassen sich ML-spezifische Risiken entlang des ML-Workflows einteilen? Einfach
  5. Womit befasst sich der ML-Modelltest? Einfach

Grundlagen des Testens KI-basierter Systeme

  1. Wo stehen viele GenAI-Systeme wie LLM-basierte Chatbots zwischen starren und adaptiven Systemen? Mittel
  2. Warum können auch starre KI-Systeme mit großen neuronalen Netzen in der Praxis nichtdeterministisches Verhalten zeigen? Mittel
  3. Wie kann ein adaptives KI-System vor der Bereitstellung getestet werden? Mittel
  4. Wie lässt sich prüfen, ob die Anpassungen eines adaptiven KI-Systems im Betrieb sicher sind? Mittel
  5. Welche Gründe sprechen für einen statistischen Testansatz bei KI-Systemen? Mittel
  6. Mit welchen statistischen Mitteln lassen sich Accuracy, Fairness und Robustheit eines Modells quantifizieren? Mittel
  7. Warum muss man eine statistisch signifikante Stichprobe von Szenarien aus den Betriebsdaten testen? Mittel
  8. Welche Ursachen hat das Testorakelproblem bei KI-Systemen? Mittel
  9. Welche Lösungsansätze gibt es für das Testorakelproblem? Mittel
  10. Warum müssen Tester Umgebungsgrenzen wie Beleuchtung, Temperatur oder Netzwerklatenz festlegen? Mittel
  11. Welche Einschränkung hat die Befragung von Fachexperten als Testorakel? Mittel

Testen generativer KI

  1. Was wird beim Testen generativer KI bewertet? Mittel
  2. Welche Parameter beeinflussen neben den Prompts die Ausgabe eines GenAI-Systems? Mittel
  3. Welche nicht-funktionalen Messgrößen sind bei GenAI-Systemen relevant? Mittel
  4. Welche schädlichen Ergebnisse soll Red Teaming beispielsweise provozieren? Mittel
  5. Welche Schritte umfasst das typische Vorgehen beim Red Teaming? Mittel
  6. Mit welchen Ansätzen lässt sich beim Red Teaming eine umfassende Abdeckung erreichen? Mittel

Teststufen und risikobasiertes Testen

  1. Was gehört beim Komponentenintegrationstest eines ML-Systems dazu? Mittel
  2. Was prüft der Systemtest eines ML-Systems unter anderem? Mittel
  3. Welche Produktrisiken gehören zum Bereich „Modell“? Mittel

Grundlagen des Testens KI-basierter Systeme

  1. Ein Automobilzulieferer setzt für die Verkehrszeichenerkennung ein fest trainiertes DNN ein und spielt nach einem Jahr ein nachtrainiertes Modell auf. Welche Aussagen treffen zu? Schwer
  2. Ein Team testet ein starres Bildklassifikationsmodell auf GPUs und erhält bei identischen Eingaben in seltenen Fällen leicht unterschiedliche Ausgaben. Wie ist das einzuordnen? Schwer
  3. Ein Tester soll für ein adaptives Empfehlungssystem vorab Testfälle für alle künftigen Verhaltensweisen schreiben. Was ist dazu zu sagen? Schwer
  4. Warum ist das Testen adaptiver KI-Systeme vor der Bereitstellung komplexer als das Testen starrer Systeme? Schwer
  5. Ein Team hat ein Bildmodell mit 20 Testbildern geprüft, alle wurden korrekt klassifiziert, und will nun „100 % korrekt“ berichten. Was spricht dagegen? Schwer
  6. Ein Hersteller eines medizinischen KI-Systems muss gegenüber einer Behörde belegen, dass eine Fairness-Schwelle eingehalten wird. Welche Aussagen treffen zu? Schwer
  7. Ein Team testet einen virtuellen Assistenten und kann sich nicht auf „richtige“ Antworten einigen, weil Nutzer sehr unterschiedliche Erwartungen haben. Welche Ursache des Testorakelproblems liegt vor, und was hilft? Schwer
  8. Für ein Modell zur Bildklassifikation gibt es viele ungelabelte Testbilder, aber keine erwarteten Ergebnisse. Welcher Lösungsansatz passt? Schwer
  9. Ein selbstlernendes Preissystem wurde mit einem Satz erwarteter Ergebnisse abgenommen. Nach einigen Wochen schlagen viele dieser Tests fehl, obwohl das System gut funktioniert. Woran liegt das? Schwer
  10. Ein Modell für die Bewertung komplexer Proteinstrukturen liefert Ergebnisse, die Menschen kaum nachprüfen können. Welche Aussagen treffen zu? Schwer

Testen generativer KI

  1. Ein Team lässt die Bilder eines Bildgenerators automatisch von einem Bilderkennungssystem prüfen. Welche Aussagen dazu treffen zu? Schwer
  2. Ein Tester erhält auf denselben Nutzerprompt je nach Sitzung unterschiedliche Antworten eines Chatbots. Welche Faktoren kommen als Ursache in Frage? Schwer
  3. Wie wird beim Testen von GenAI über „bestanden“ oder „nicht bestanden“ entschieden, wenn die Ausgaben manuell geprüft werden? Schwer
  4. Ein Unternehmen will ein LLM mit RAG-Anbindung vor dem Start per Red Teaming auf Sicherheitslücken prüfen. Welche Angriffe sollten betrachtet werden? Schwer
  5. Ein Gesundheits-Chatbot soll per Red Teaming auf Sicherheit (Safety) geprüft werden. Worauf zielt das anders als ein Security-Red-Teaming? Schwer
  6. Wie verhält sich Red Teaming zu Benchmarks? Schwer
  7. Ein Team plant Red Teaming nur für Security. Welche weiteren Bereiche kann Red Teaming abdecken, und welche Rolle spielt die Regulierung? Schwer

Teststufen und risikobasiertes Testen

  1. Ein Unternehmen nutzt ein Sprachmodell eines Cloudanbieters als Dienst und baut es in sein CRM ein. Welche Teststufen und Tätigkeiten sind dafür vorgesehen? Schwer
  2. Ein DNN wurde für ein Smartphone komprimiert, um es kleiner zu machen. Welche Teststufe ist hier besonders wichtig, und was wird geprüft? Schwer
  3. Welche Zuordnungen von Risiko und Bereich entlang des ML-Workflows treffen zu? Schwer

Zertifikate & Prüfungen

Welche Prüfung kommt als Nächstes?

19 Prüfungen kannst du schon üben, über 21 stimmst du gerade ab. Sieh dir alle Zertifikate mit offiziellen Infos an, gib deine Stimme ab oder schlag deine Prüfung vor.

Zur Zertifikatsübersicht