ISTQB CT-GenAI

KI-Ergebnisse bewerten und Prompts verfeinern

60 Fragen

Einfach

Metriken für GenAI-Ergebnisse

  1. Wozu dienen Metriken, wenn ein Testteam GenAI für Testaufgaben einsetzt?
  2. Welche Metrik vergleicht die Gesamtkorrektheit einer KI-Ausgabe mit einer von Fachleuten erstellten Referenz?
  3. Welche Metrik fragt, ob das Modell alle relevanten Fälle gefunden hat?
  4. Was drückt die Metrik Precision bei KI-Ergebnissen aus?
  5. Was bewertet die Metrik Vielfalt (Diversity) bei erzeugten Testfällen?
  6. Was misst die Ausführungserfolgsquote?
  7. Was vergleicht die Metrik Zeiteffizienz?
  8. Wann haben erzeugte Testfälle eine gute Relevanz und Kontextpassung?
  9. Welche Aussage über Metriken zur Bewertung von GenAI-Ergebnissen trifft zu?
  10. Auf welchen zwei Wegen können Tester Metriken für KI-Ergebnisse erheben?
  11. Warum sollten Metriken für GenAI-Ergebnisse auf mehreren Durchläufen beruhen?
  12. Welche der folgenden Größen ist eine Metrik zur Bewertung von GenAI-Ergebnissen im Test?

Prompts bewerten und verfeinern

  1. Wie geht man bei der iterativen Prompt-Anpassung vor?
  2. Was geschieht bei einem A/B-Test von Prompts?
  3. Was ist das Ziel der Ausgabeanalyse beim Verfeinern von Prompts?
  4. Wessen Rückmeldungen sind beim Verfeinern von Test-Prompts besonders hilfreich?
  5. Welche Aussage zur Länge eines Prompts trifft zu?
  6. Wie kann ein Testteam bewährte Prompts am besten weitergeben?
  7. Was ist das Ziel regelmäßiger Sitzungen, in denen ein Team Prompts bewertet und optimiert?
  8. Worauf stützt sich die Entscheidung, welche Prompt-Variante in einem A/B-Test besser ist?

Mittel

Metriken für GenAI-Ergebnisse

  1. Ein LLM erzeugt 40 Testskripte für eine Kinobuchung. 34 davon laufen ohne Änderung in der Testumgebung. Welche Metrik beschreibt das?
  2. Für das Alter beim Kinoticketkauf gibt es sechs Äquivalenzklassen. Die erzeugten Tests decken nur drei davon ab. Welche Metrik ist hier schwach?
  3. Ein LLM markiert zehn Einträge im Protokoll einer Paketstation als Auffälligkeit. Nur vier davon sind echte Probleme. Welche Metrik ist niedrig?
  4. Die 25 erzeugten Tests für eine Fahrschul-App prüfen alle die Terminbuchung im Normalfall, nur mit anderen Schülernamen. Welche Metrik fällt schlecht aus?
  5. Für den Bestellshop einer deutschen Bäckerei erzeugt ein LLM Tests mit Dollarpreisen und US-Steuersätzen. Welche Metrik ist betroffen?
  6. Mit LLM und anschließender Prüfung braucht ein Team zwei Stunden für eine Testsuite, von Hand bisher acht. Welche Metrik wird damit bewertet?
  7. Ein Team vergleicht KI-erzeugte Testfälle mit einer Suite, die eine erfahrene Testanalystin geschrieben hat. Welche Metrik erhebt es damit vor allem?
  8. Ein Tester lässt einen Prompt einmal laufen, findet das Ergebnis sehr gut und erklärt den Prompt für fertig. Was ist daran problematisch?
  9. Wie lässt sich die Ausführungserfolgsquote erzeugter Testskripte automatisch erheben?
  10. Welche Referenz eignet sich für einen automatischen Abgleich, um die Genauigkeit erzeugter Testfälle zu messen?
  11. Ein LLM soll Testdaten für ein IBAN-Feld einer Banking-App erzeugen. Welche Kennzahl ist eine aufgabenspezifische Metrik?
  12. Was muss ein Team einrechnen, um die Zeiteffizienz von GenAI fair zu messen?

Prompts bewerten und verfeinern

  1. Ein erster Prompt liefert für eine Vereinsverwaltung nur allgemeine Tests. Die Testerin ergänzt ein Glossar der Vereinsbegriffe und eine Systembeschreibung und prüft erneut. Welche Technik wendet sie an?
  2. Zwei Prompt-Varianten laufen je zehnmal mit denselben Anforderungen. Bewertet wird jeweils die Ausführungserfolgsquote. Welche Technik ist das?
  3. Bei der Ausgabeanalyse fällt auf: Das LLM erfindet in API-Tests regelmäßig Felder, die es in der Schnittstellenbeschreibung nicht gibt. Was ist ein sinnvoller nächster Schritt?
  4. Die Tester melden: Die erzeugten Testfälle sind zu kleinteilig, jeder Klick ist ein eigener Fall. Wie nutzt man diese Rückmeldung?
  5. Ein Team gibt dem Modell das komplette Handbuch einer Bibliothekssoftware mit. Die Antworten werden dadurch eher schlechter. Was sollte es ausprobieren?
  6. Jeder Tester im Team pflegt eigene Prompts, und dieselben Fehler treten immer wieder auf. Was ist die beste Empfehlung?
  7. Was gehört zu einem aussagekräftigen A/B-Test zweier Prompts?
  8. Viele erzeugte Skripte scheitern, weil das LLM Erklärtext vor und nach dem Code ausgibt. Welche Prompt-Änderung hilft am ehesten?

Schwer

Prompts bewerten und verfeinern

  1. Warum ändert man bei der iterativen Prompt-Anpassung möglichst nur einen Aspekt pro Runde?
  2. Variante B schneidet in einem einzigen Durchlauf etwas besser ab als Variante A. Was folgt daraus?
  3. Die Fehleranalyse zeigt: In 70 % der fehlerhaften Testfälle für eine Reisekosten-App fehlen Grenzwerte. Welche Verfeinerung ist am wirksamsten?
  4. Ein Prompt enthält fünf ausführliche Beispieltestfälle. Das Modell kopiert sie nahezu wörtlich und variiert kaum. Was ist ein sinnvoller Versuch?
  5. Welche Reihenfolge ist für das Verfeinern eines Test-Prompts sinnvoll?
  6. Das Team wechselt auf eine neue Version des Sprachmodells. Wie geht es sinnvoll mit seiner Prompt-Bibliothek um?
  7. In einer Vereinsverwaltung heißen Nutzer „Mitglieder“. Das LLM schreibt in den Tests aber „Kunden“ und „Konten“, was die Fachabteilung verwirrt. Welche Anpassung passt?
  8. Zwei Tester geben gegensätzliches Feedback: Einer will mehr Details in den Testfällen, der andere weniger. Was ist ein sinnvoller Umgang damit?

Metriken für GenAI-Ergebnisse

  1. Ein LLM soll in Serverprotokollen einer Kita-Verwaltung Auffälligkeiten finden. Es markiert fast jede Zeile als verdächtig. Wie sind Precision und Recall typischerweise einzuschätzen?
  2. Ein Modell meldet nur zwei Auffälligkeiten, beide sind echt. Tatsächlich gibt es aber acht. Welche Bewertung trifft zu?
  3. Für das Gewichtsfeld einer Paketverfolgung gibt es acht Äquivalenzklassen, gültige und ungültige. Die erzeugten Tests treffen sechs davon. Wie hoch ist der Recall?
  4. Fast alle erzeugten Skripte laufen fehlerfrei, prüfen aber Funktionen, die in der Testbasis gar nicht gefordert sind. Welche Schlussfolgerung ist richtig?
  5. Ein Team optimiert seinen Prompt nur auf hohe Vielfalt. Die Tests werden immer ausgefallener. Welches Risiko besteht?
  6. Beim Abgleich mit einer Expertensuite gelten einige KI-Testfälle als falsch, obwohl sie sinnvolle Fälle prüfen, die den Experten fehlten. Was zeigt das?
  7. Was bedeutet es praktisch, dass Metriken für GenAI auf statistisch relevanten Daten beruhen müssen?
  8. Ein LLM erzeugt Tests in fünf Minuten. Sichten und Korrigieren dauert drei Stunden; von Hand wären es zwei Stunden. Was ergibt die Zeiteffizienz?
  9. Ein LLM soll Regressionstestskripte für eine CI-Pipeline erzeugen. Welche Metrik zeigt zuerst, ob die Skripte dort überhaupt nutzbar sind?
  10. Was braucht ein Team, um den Recall erzeugter Testfälle berechnen zu können?
  11. Welchen Nutzen haben Bewertungsmetriken über das Optimieren von Prompts hinaus?
  12. Welche Aussage über manuelle und automatische Bewertung von KI-Ausgaben trifft zu?

Zertifikate & Prüfungen

Welche Prüfung kommt als Nächstes?

51 Prüfungen kannst du schon üben, über 16 stimmst du gerade ab. Sieh dir alle Zertifikate mit offiziellen Infos an, gib deine Stimme ab oder schlag deine Prüfung vor.

Zur Zertifikatsübersicht