ISTQB CT-GenAI
KI-Ergebnisse bewerten und Prompts verfeinern
Einfach
Metriken für GenAI-Ergebnisse
- Wozu dienen Metriken, wenn ein Testteam GenAI für Testaufgaben einsetzt?
- Welche Metrik vergleicht die Gesamtkorrektheit einer KI-Ausgabe mit einer von Fachleuten erstellten Referenz?
- Welche Metrik fragt, ob das Modell alle relevanten Fälle gefunden hat?
- Was drückt die Metrik Precision bei KI-Ergebnissen aus?
- Was bewertet die Metrik Vielfalt (Diversity) bei erzeugten Testfällen?
- Was misst die Ausführungserfolgsquote?
- Was vergleicht die Metrik Zeiteffizienz?
- Wann haben erzeugte Testfälle eine gute Relevanz und Kontextpassung?
- Welche Aussage über Metriken zur Bewertung von GenAI-Ergebnissen trifft zu?
- Auf welchen zwei Wegen können Tester Metriken für KI-Ergebnisse erheben?
- Warum sollten Metriken für GenAI-Ergebnisse auf mehreren Durchläufen beruhen?
- Welche der folgenden Größen ist eine Metrik zur Bewertung von GenAI-Ergebnissen im Test?
Prompts bewerten und verfeinern
- Wie geht man bei der iterativen Prompt-Anpassung vor?
- Was geschieht bei einem A/B-Test von Prompts?
- Was ist das Ziel der Ausgabeanalyse beim Verfeinern von Prompts?
- Wessen Rückmeldungen sind beim Verfeinern von Test-Prompts besonders hilfreich?
- Welche Aussage zur Länge eines Prompts trifft zu?
- Wie kann ein Testteam bewährte Prompts am besten weitergeben?
- Was ist das Ziel regelmäßiger Sitzungen, in denen ein Team Prompts bewertet und optimiert?
- Worauf stützt sich die Entscheidung, welche Prompt-Variante in einem A/B-Test besser ist?
Mittel
Metriken für GenAI-Ergebnisse
- Ein LLM erzeugt 40 Testskripte für eine Kinobuchung. 34 davon laufen ohne Änderung in der Testumgebung. Welche Metrik beschreibt das?
- Für das Alter beim Kinoticketkauf gibt es sechs Äquivalenzklassen. Die erzeugten Tests decken nur drei davon ab. Welche Metrik ist hier schwach?
- Ein LLM markiert zehn Einträge im Protokoll einer Paketstation als Auffälligkeit. Nur vier davon sind echte Probleme. Welche Metrik ist niedrig?
- Die 25 erzeugten Tests für eine Fahrschul-App prüfen alle die Terminbuchung im Normalfall, nur mit anderen Schülernamen. Welche Metrik fällt schlecht aus?
- Für den Bestellshop einer deutschen Bäckerei erzeugt ein LLM Tests mit Dollarpreisen und US-Steuersätzen. Welche Metrik ist betroffen?
- Mit LLM und anschließender Prüfung braucht ein Team zwei Stunden für eine Testsuite, von Hand bisher acht. Welche Metrik wird damit bewertet?
- Ein Team vergleicht KI-erzeugte Testfälle mit einer Suite, die eine erfahrene Testanalystin geschrieben hat. Welche Metrik erhebt es damit vor allem?
- Ein Tester lässt einen Prompt einmal laufen, findet das Ergebnis sehr gut und erklärt den Prompt für fertig. Was ist daran problematisch?
- Wie lässt sich die Ausführungserfolgsquote erzeugter Testskripte automatisch erheben?
- Welche Referenz eignet sich für einen automatischen Abgleich, um die Genauigkeit erzeugter Testfälle zu messen?
- Ein LLM soll Testdaten für ein IBAN-Feld einer Banking-App erzeugen. Welche Kennzahl ist eine aufgabenspezifische Metrik?
- Was muss ein Team einrechnen, um die Zeiteffizienz von GenAI fair zu messen?
Prompts bewerten und verfeinern
- Ein erster Prompt liefert für eine Vereinsverwaltung nur allgemeine Tests. Die Testerin ergänzt ein Glossar der Vereinsbegriffe und eine Systembeschreibung und prüft erneut. Welche Technik wendet sie an?
- Zwei Prompt-Varianten laufen je zehnmal mit denselben Anforderungen. Bewertet wird jeweils die Ausführungserfolgsquote. Welche Technik ist das?
- Bei der Ausgabeanalyse fällt auf: Das LLM erfindet in API-Tests regelmäßig Felder, die es in der Schnittstellenbeschreibung nicht gibt. Was ist ein sinnvoller nächster Schritt?
- Die Tester melden: Die erzeugten Testfälle sind zu kleinteilig, jeder Klick ist ein eigener Fall. Wie nutzt man diese Rückmeldung?
- Ein Team gibt dem Modell das komplette Handbuch einer Bibliothekssoftware mit. Die Antworten werden dadurch eher schlechter. Was sollte es ausprobieren?
- Jeder Tester im Team pflegt eigene Prompts, und dieselben Fehler treten immer wieder auf. Was ist die beste Empfehlung?
- Was gehört zu einem aussagekräftigen A/B-Test zweier Prompts?
- Viele erzeugte Skripte scheitern, weil das LLM Erklärtext vor und nach dem Code ausgibt. Welche Prompt-Änderung hilft am ehesten?
Schwer
Prompts bewerten und verfeinern
- Warum ändert man bei der iterativen Prompt-Anpassung möglichst nur einen Aspekt pro Runde?
- Variante B schneidet in einem einzigen Durchlauf etwas besser ab als Variante A. Was folgt daraus?
- Die Fehleranalyse zeigt: In 70 % der fehlerhaften Testfälle für eine Reisekosten-App fehlen Grenzwerte. Welche Verfeinerung ist am wirksamsten?
- Ein Prompt enthält fünf ausführliche Beispieltestfälle. Das Modell kopiert sie nahezu wörtlich und variiert kaum. Was ist ein sinnvoller Versuch?
- Welche Reihenfolge ist für das Verfeinern eines Test-Prompts sinnvoll?
- Das Team wechselt auf eine neue Version des Sprachmodells. Wie geht es sinnvoll mit seiner Prompt-Bibliothek um?
- In einer Vereinsverwaltung heißen Nutzer „Mitglieder“. Das LLM schreibt in den Tests aber „Kunden“ und „Konten“, was die Fachabteilung verwirrt. Welche Anpassung passt?
- Zwei Tester geben gegensätzliches Feedback: Einer will mehr Details in den Testfällen, der andere weniger. Was ist ein sinnvoller Umgang damit?
Metriken für GenAI-Ergebnisse
- Ein LLM soll in Serverprotokollen einer Kita-Verwaltung Auffälligkeiten finden. Es markiert fast jede Zeile als verdächtig. Wie sind Precision und Recall typischerweise einzuschätzen?
- Ein Modell meldet nur zwei Auffälligkeiten, beide sind echt. Tatsächlich gibt es aber acht. Welche Bewertung trifft zu?
- Für das Gewichtsfeld einer Paketverfolgung gibt es acht Äquivalenzklassen, gültige und ungültige. Die erzeugten Tests treffen sechs davon. Wie hoch ist der Recall?
- Fast alle erzeugten Skripte laufen fehlerfrei, prüfen aber Funktionen, die in der Testbasis gar nicht gefordert sind. Welche Schlussfolgerung ist richtig?
- Ein Team optimiert seinen Prompt nur auf hohe Vielfalt. Die Tests werden immer ausgefallener. Welches Risiko besteht?
- Beim Abgleich mit einer Expertensuite gelten einige KI-Testfälle als falsch, obwohl sie sinnvolle Fälle prüfen, die den Experten fehlten. Was zeigt das?
- Was bedeutet es praktisch, dass Metriken für GenAI auf statistisch relevanten Daten beruhen müssen?
- Ein LLM erzeugt Tests in fünf Minuten. Sichten und Korrigieren dauert drei Stunden; von Hand wären es zwei Stunden. Was ergibt die Zeiteffizienz?
- Ein LLM soll Regressionstestskripte für eine CI-Pipeline erzeugen. Welche Metrik zeigt zuerst, ob die Skripte dort überhaupt nutzbar sind?
- Was braucht ein Team, um den Recall erzeugter Testfälle berechnen zu können?
- Welchen Nutzen haben Bewertungsmetriken über das Optimieren von Prompts hinaus?
- Welche Aussage über manuelle und automatische Bewertung von KI-Ausgaben trifft zu?