ISTQB CT-GenAI

Halluzinationen, Denkfehler und Verzerrungen

60 Fragen

Einfach

Fehlerarten generativer KI

  1. Was bezeichnet man bei einem Sprachmodell als Halluzination?
  2. Ein LLM erzeugt Testfälle für ein Hotelbuchungsportal. Woran erkennt man am ehesten eine Halluzination?
  3. Was versteht man unter einem Denkfehler (Reasoning Error) eines LLM?
  4. Warum unterlaufen LLMs bei mehrstufigen Rechen- und Logikaufgaben leicht Fehler?
  5. Bei welcher Testaufgabe ist das Risiko von Denkfehlern eines LLM besonders hoch?
  6. Woher stammen Verzerrungen (Biases) in den Ausgaben eines LLM in erster Linie?
  7. Ein LLM erzeugt Testdaten für ein Anmeldeformular und verwendet fast nur Namen wie „Max Müller“ mit deutscher Adresse. Welche Fehlerart liegt vor?

Fehler in KI-Ausgaben erkennen

  1. Was gehört zur Kreuzprüfung (Cross-Verification), um Halluzinationen zu finden?
  2. Warum zieht man zur Erkennung von Halluzinationen Fachexperten hinzu?
  3. Was untersucht eine Konsistenzprüfung bei KI-Ausgaben?
  4. Wie lassen sich Denkfehler in erzeugten Testskripten am direktesten aufdecken?
  5. Was wird bei der logischen Validierung einer KI-Ausgabe beurteilt?
  6. Woran erkennt man eine Verzerrung in KI-erzeugten Testfällen?
  7. Wovon hängt ab, wie gründlich ein Team KI-Ausgaben auf diese Fehlerarten untersucht?

Gegenmaßnahmen und Nichtdeterminismus

  1. Welche Maßnahme senkt das Risiko von Halluzinationen am direktesten?
  2. Wie hilft es gegen Denkfehler, eine komplexe Aufgabe auf mehrere Prompts zu verteilen?
  3. Welche Eingabeform erleichtert einem LLM eine korrekte Auswertung?
  4. Was bedeutet das nichtdeterministische Verhalten eines LLM?
  5. Was bewirkt es, die Temperatur eines LLM zu senken?
  6. Wozu dient es, bei einem LLM einen festen Seed zu setzen, sofern die Umgebung das erlaubt?

Mittel

Fehlerarten generativer KI

  1. Ein LLM leitet aus User Stories einer Bibliotheks-App Testfälle ab. Einer prüft die Verlängerung per Sprachassistent, die nirgends gefordert ist. Was liegt vor?
  2. Ein LLM soll den Aufwand für vier Testaufgaben mit 3, 5, 2 und 4 Stunden addieren und meldet 16 Stunden. Welche Fehlerart liegt vor?
  3. Regel eines Onlineshops: Rabatt nur für Mitglieder UND ab 50 € Bestellwert. Das LLM erwartet in einem Testfall Rabatt für ein Nichtmitglied mit 60 €. Was ist passiert?
  4. Ein LLM schlägt für eine international genutzte Fitnessstudio-App nur Testdaten mit deutschen Postleitzahlen und Telefonnummern vor. Wie ist das einzuordnen?
  5. Ein Tester korrigiert einen Prompt, und die Halluzination verschwindet. Am nächsten Tag taucht sie in einer neuen Unterhaltung wieder auf. Woran liegt das?
  6. Worauf gehen Halluzinationen, Denkfehler und Verzerrungen grundsätzlich zurück?

Fehler in KI-Ausgaben erkennen

  1. Ein Werkzeug gleicht KI-Testfälle für ein Stadtwerke-Portal mit dem Anforderungskatalog ab und markiert Testfälle ohne passende Anforderung. Welche Methode ist das?
  2. Ein LLM erzeugt Testfälle für die Dosierungsberechnung einer Apotheken-Software. Welche Erkennungsmethode ist hier besonders wichtig?
  3. Zwei vom LLM erzeugte Testfälle zur selben Funktion erwarten bei gleicher Eingabe verschiedene Ergebnisse. Welche Prüfung deckt das auf?
  4. Ein LLM erzeugt Testskripte für die Software eines Fahrkartenautomaten. Wie stellt man am zuverlässigsten fest, ob die Skripte richtig prüfen?
  5. Ein Tester liest die Begründung einer KI-erstellten Testpriorisierung und stellt fest, dass ein Schritt dem vorherigen widerspricht. Welche Methode wendet er an?
  6. Ein LLM liefert synthetische Testdaten für einen Versicherungsrechner, alle Personen sind 30 bis 50 Jahre alt. Die Teststrategie verlangt Grenzwerte beim Alter. Welche Prüfung findet das?
  7. Für welche Aufgabe reicht eine eher schlanke Prüfung der KI-Ausgabe am ehesten aus?

Gegenmaßnahmen und Nichtdeterminismus

  1. Ein LLM soll Grenzwerte für einen Tarifrechner bestimmen, kennt die Tariftabelle aber nicht und erfindet Werte. Welche Maßnahme hilft am meisten?
  2. Ein Tester lässt ein LLM in einem einzigen Prompt Anforderungen analysieren, Testbedingungen ableiten und Testfälle schreiben. Fehler in der Analyse bleiben unbemerkt. Was verbessert das?
  3. Die Anforderungen eines Projekts liegen als abfotografierte Notizen mit Pfeilen und Randbemerkungen vor. Was empfiehlt sich vor der Übergabe an ein LLM?
  4. Ein Team ist unsicher, ob die von einem LLM berechneten Äquivalenzklassen stimmen. Welche Maßnahme hilft, Fehler in der Ausgabe zu erkennen?
  5. Ein Team will für eine Regressionssuite möglichst gleichbleibende Testdaten aus einem LLM erhalten. Welche Einstellungen helfen?
  6. Welchen Nachteil hat eine sehr niedrige Temperatur, wenn ein LLM Ideen für explorative Tests liefern soll?
  7. Warum ist das nichtdeterministische Verhalten bei langen Ausgaben, etwa einer ganzen Testsuite, besonders spürbar?

Schwer

Fehlerarten generativer KI

  1. Zum Kriterium „Passwort mindestens 12 Zeichen“ ergänzt ein LLM einen Testfall für eine Kontosperre nach drei Fehlversuchen, die nicht gefordert ist. Warum ist das tückischer als ein offensichtlich falscher Testfall?
  2. Ein LLM übernimmt alle Fakten korrekt aus der Spezifikation, folgert aber, ein Test mit hohem Risiko solle zuletzt laufen, weil er am längsten dauert. Wie ist das einzuordnen?
  3. Welche Aussage über Verzerrungen in LLM-Ausgaben trifft zu?
  4. Ein Kollege meint: „Mit einem größeren Modell verschwinden Halluzinationen vollständig.“ Wie ist das zu bewerten?
  5. Warum fällt ein Denkfehler in einer KI-erstellten Aufwandsschätzung oft nicht sofort auf?
  6. Welche Zuordnung stimmt? (1) In Testdaten taucht ein Feld „Kundenkategorie“ auf, das das System nicht kennt. (2) Die Summe einer Schätzung ist falsch. (3) Alle Testpersonen haben männliche Vornamen.

Fehler in KI-Ausgaben erkennen

  1. Ein Team prüft automatisch nur, ob KI-erzeugte Testskripte ohne Fehler durchlaufen. Welche Schwäche hat dieser Ansatz?
  2. Warum reicht eine automatische Kreuzprüfung gegen den Anforderungskatalog nicht immer aus?
  3. Ein LLM erzeugt 40 Testfälle für einen Webshop. 38 betreffen Kreditkartenzahlung, Rechnungskauf und Lastschrift kommen kaum vor. Was passt?
  4. Welche Methode deckt Denkfehler in einer KI-erstellten Testpriorisierung am besten auf?
  5. Ein Team nutzt GenAI für Testdaten einer Medizinprodukt-Software und für Entwürfe interner Release-Notizen. Wie sollte der Prüfaufwand verteilt sein?
  6. Warum ist eine bestandene Konsistenzprüfung allein kein Beleg für korrekte KI-Ausgaben?
  7. Ein LLM schlägt für eine Banking-App nur Testfälle zu Überweisungen, Kontoständen und Daueraufträgen vor. Welche Verzerrung liegt nahe?

Gegenmaßnahmen und Nichtdeterminismus

  1. Ein Team gibt einem LLM alle Anforderungen einer Fahrplanauskunft mit, erhält aber weiterhin falsche erwartete Umsteigezeiten. Welche Maßnahme passt als Nächstes?
  2. Wann ist es besonders sinnvoll, dieselbe Aufgabe mehreren LLMs zu stellen und die Ergebnisse zu vergleichen?
  3. Ein Team erzeugt mit einem allgemeinen Chat-Modell Testskripte in einer wenig verbreiteten Testsprache, die oft fehlerhaft sind. Welche Gegenmaßnahme liegt nahe?
  4. Ein Team setzt die Temperatur auf den niedrigsten Wert. Welche Erwartung ist realistisch?
  5. Welchen Zielkonflikt bringt das Senken der Temperatur mit sich?
  6. Wie hilft eine automatisierte Prüfung der KI-Ausgaben im Umgang mit Nichtdeterminismus?
  7. Ein LLM priorisiert Testfälle für einen Tierarzt-Terminplaner mal richtig, mal falsch. Welche Kombination von Maßnahmen ist am sinnvollsten?

Zertifikate & Prüfungen

Welche Prüfung kommt als Nächstes?

51 Prüfungen kannst du schon üben, über 16 stimmst du gerade ab. Sieh dir alle Zertifikate mit offiziellen Infos an, gib deine Stimme ab oder schlag deine Prüfung vor.

Zur Zertifikatsübersicht