ISTQB CT-GenAI

GenAI in Regressionstest und Teststeuerung

60 Fragen

Einfach

Regressionstest mit GenAI

  1. Warum eignen sich Regressionstests besonders gut für die Automatisierung?
  2. In welcher Umgebung laufen automatisierte Regressionstests typischerweise besonders häufig?
  3. Was steht bei schlüsselwortgetriebener Testautomatisierung hinter einem Schlüsselwort?
  4. Wozu dient eine von GenAI unterstützte Auswirkungsanalyse im Regressionstest?
  5. Was versteht man unter selbstheilenden Tests?
  6. Was kann GenAI bei Fehlerberichten im Regressionstest automatisch zusammenstellen?
  7. Was gilt für Testskripte und Berichte, die GenAI im Regressionstest erzeugt hat?
  8. Warum werden automatisierte GUI-Tests häufig instabil?
  9. Welche Änderung macht API-Regressionstests typischerweise zu schaffen?

Testüberwachung und Teststeuerung

  1. Wo liegen die Daten für die Testüberwachung oft schon vor, die GenAI auswerten kann?
  2. Was kann GenAI bei der Testüberwachung über reine Zahlen hinaus leisten?
  3. Wie kann GenAI die Teststeuerung unterstützen?
  4. Was kann GenAI zum Testabschluss beitragen?
  5. Welchen Vorteil haben Zusammenfassungen in natürlicher Sprache neben einem Dashboard?
  6. Welche Kennzahl ist ein typisches Ergebnis, wenn ein LLM Testdaten für die Überwachung aufbereitet?

Wahl der Prompting-Technik

  1. Für welche Aufgaben eignet sich Prompt Chaining besonders?
  2. Wann ist Few-Shot-Prompting die naheliegende Wahl?
  3. Was ist der Kern von Meta-Prompting?
  4. Darf man für eine einzige Testaufgabe mehrere Prompting-Techniken kombinieren?
  5. Ein Team soll 40 Testfälle im Gherkin-Format nach immer gleichem Aufbau schreiben lassen. Welche Technik passt am besten?

Mittel

Regressionstest mit GenAI

  1. Ein Team besitzt eine Bibliothek mit Schlüsselwörtern für eine Ausleih-App. Wie hilft ein LLM am meisten beim Erzeugen neuer Regressionsskripte?
  2. Welche Prompting-Technik eignet sich gut, um schlüsselwortgetriebene Testskripte in einheitlicher Form erzeugen zu lassen?
  3. In einer Fahrrad-Verleih-App wurde nur die Preisberechnung für Wochenendmieten geändert. Was bringt eine KI-gestützte Auswirkungsanalyse?
  4. Im Shop einer Apotheke heißt das Feld „PLZ“ nun „Postleitzahl“, die Funktion ist gleich. Was leistet ein selbstheilender Test?
  5. Welches Ziel verfolgen selbstheilende Tests auf lange Sicht?
  6. Ein LLM erzeugt nach jedem nächtlichen Regressionslauf einen Bericht. Was gehört sinnvoll hinein?
  7. Ein Regressionslauf liefert 30 Fehlschläge. Welcher erste Schritt einer strukturierten Berichtsanalyse mit einem LLM ist sinnvoll?
  8. Wozu dient eine Liste bekannter Anomalien bei der KI-gestützten Analyse von Regressionsergebnissen?
  9. Eine Verleih-API verlangt künftig ein neues Anmeldeverfahren. Wie kann GenAI die API-Regressionstests unterstützen?
  10. Was meint man mit dynamischen Locatoren, an die GenAI GUI-Skripte anpassen kann?
  11. Welche vorausschauende Information kann ein KI-gestützter Testbericht im Regressionstest liefern?

Testüberwachung und Teststeuerung

  1. Ein LLM erhält einen Export aus dem Testmanagement einer Krankenhaus-App. Welches Ergebnis ist für die Testüberwachung am nützlichsten?
  2. Die Überwachung zeigt, dass Tests für die Medikamentenliste weit hinter dem Plan liegen. Welche Hilfe von GenAI passt zur Teststeuerung?
  3. Welchen Nutzen haben von GenAI erstellte Abschlussberichte über das einzelne Projekt hinaus?
  4. Was zeichnet ein dynamisches Dashboard aus, das GenAI mit aufbauen hilft?
  5. Ein LLM hat aus einem Werkzeugexport Kennzahlen für das Dashboard einer Kita-Verwaltungs-App berechnet. Was sollte vor der Veröffentlichung geschehen?

Wahl der Prompting-Technik

  1. Aus User Stories einer Bahn-App sollen Testbedingungen, dann Testfälle und schließlich Skripte entstehen; jede Stufe soll geprüft werden. Welche Technik passt?
  2. Ein Team will erstmals Logdateien auf Anomalien untersuchen lassen und hat noch keinen passenden Prompt. Welche Technik ist ein guter Start?
  3. Welche Reihenfolge beschreibt eine sinnvolle Kombination der drei Prompting-Techniken?
  4. Für welche Testaufgabe ist Meta-Prompting typischerweise gut geeignet?

Schwer

Regressionstest mit GenAI

  1. Eine KI-Auswirkungsanalyse empfiehlt nach einer Änderung an der Rabattlogik eines Ticketshops nur 12 von 400 Regressionstests. Wie geht ein Testteam am besten vor?
  2. Ein selbstheilender Test passt sich an, weil der Knopf „Bestellen“ verschwunden ist, und klickt nun auf „Merken“. Was zeigt dieser Fall?
  3. Ein LLM erzeugt Skripte für ein schlüsselwortgetriebenes Framework, doch einige brechen ab, weil Schlüsselwörter falsch geschrieben sind. Welche Maßnahme hilft am gezieltesten?
  4. Ein Team richtet per Systemprompt einen KI-Assistenten ein, der schlüsselwortgetriebene Skripte prüft und korrigiert. Welche Angabe gehört am ehesten in diesen Systemprompt?
  5. Eine strukturierte Analyse von Regressionsergebnissen läuft in einem einzigen LLM-Gespräch. Welche Reihenfolge ist am sinnvollsten?
  6. Ein LLM fasst 25 fehlgeschlagene Tests einer Versicherungs-App zu drei Fehlergruppen zusammen. Welches Risiko besteht dabei?
  7. Für welche Arten von Regressionstests kann GenAI eingesetzt werden?
  8. Eine API für Paketverfolgung liefert statt „status“ nun ein Objekt „tracking“ mit Unterfeldern. Was ist beim Anpassen der Tests mit GenAI wichtig?
  9. Warum passt GenAI gut zur Pflege von Regressionssuiten in schnellen Release-Zyklen?
  10. Eine KI-gestützte Auswirkungsanalyse soll in einer CI-Pipeline Regressionstests auswählen. Welche Voraussetzung ist dafür am wichtigsten?

Testüberwachung und Teststeuerung

  1. Ein LLM meldet anhand der Testdaten, dass die Fehlerrate im Modul „Abrechnung“ stark steigt. Was ist der beste nächste Schritt?
  2. Zwei Wochen vor dem Release schlägt ein LLM vor, Tests mit geringem Risiko zu verschieben, um kritische Bereiche gründlicher zu testen. Wie ist das einzuordnen?
  3. Was unterscheidet Teststeuerung von Testüberwachung, wenn beide von GenAI unterstützt werden?
  4. Ein LLM schreibt für die Geschäftsleitung eine Zusammenfassung des Teststands. Welche Gefahr ist dabei am größten?
  5. Testdaten aus mehreren Werkzeugen sind teils unstrukturiert, etwa Freitext-Kommentare. Was ist ein typischer Beitrag von GenAI zur Testüberwachung?

Wahl der Prompting-Technik

  1. Ein Team will wöchentliche Regressionsberichte immer im selben Tabellenformat erhalten. Warum ist Few-Shot-Prompting hier Meta-Prompting überlegen?
  2. Testskripte für eine Banking-App sollen schrittweise entstehen; jeder Testschritt soll auf fachliche Richtigkeit geprüft werden. Was spricht gegen einen einzigen großen Prompt?
  3. Welches Risiko besteht, wenn ein per Meta-Prompting erzeugter Prompt ungeprüft eingesetzt wird?
  4. Welche Eigenschaft einer Testaufgabe spricht am stärksten für Prompt Chaining statt Few-Shot-Prompting?
  5. In einer Prompt-Kette für eine Reisekosten-App liefert Schritt 2 Testfälle mit falschen erwarteten Ergebnissen. Wie geht man vor?

Zertifikate & Prüfungen

Welche Prüfung kommt als Nächstes?

51 Prüfungen kannst du schon üben, über 16 stimmst du gerade ab. Sieh dir alle Zertifikate mit offiziellen Infos an, gib deine Stimme ab oder schlag deine Prüfung vor.

Zur Zertifikatsübersicht