ISTQB CT-GenAI
GenAI in Regressionstest und Teststeuerung
Einfach
Regressionstest mit GenAI
- Warum eignen sich Regressionstests besonders gut für die Automatisierung?
- In welcher Umgebung laufen automatisierte Regressionstests typischerweise besonders häufig?
- Was steht bei schlüsselwortgetriebener Testautomatisierung hinter einem Schlüsselwort?
- Wozu dient eine von GenAI unterstützte Auswirkungsanalyse im Regressionstest?
- Was versteht man unter selbstheilenden Tests?
- Was kann GenAI bei Fehlerberichten im Regressionstest automatisch zusammenstellen?
- Was gilt für Testskripte und Berichte, die GenAI im Regressionstest erzeugt hat?
- Warum werden automatisierte GUI-Tests häufig instabil?
- Welche Änderung macht API-Regressionstests typischerweise zu schaffen?
Testüberwachung und Teststeuerung
- Wo liegen die Daten für die Testüberwachung oft schon vor, die GenAI auswerten kann?
- Was kann GenAI bei der Testüberwachung über reine Zahlen hinaus leisten?
- Wie kann GenAI die Teststeuerung unterstützen?
- Was kann GenAI zum Testabschluss beitragen?
- Welchen Vorteil haben Zusammenfassungen in natürlicher Sprache neben einem Dashboard?
- Welche Kennzahl ist ein typisches Ergebnis, wenn ein LLM Testdaten für die Überwachung aufbereitet?
Wahl der Prompting-Technik
- Für welche Aufgaben eignet sich Prompt Chaining besonders?
- Wann ist Few-Shot-Prompting die naheliegende Wahl?
- Was ist der Kern von Meta-Prompting?
- Darf man für eine einzige Testaufgabe mehrere Prompting-Techniken kombinieren?
- Ein Team soll 40 Testfälle im Gherkin-Format nach immer gleichem Aufbau schreiben lassen. Welche Technik passt am besten?
Mittel
Regressionstest mit GenAI
- Ein Team besitzt eine Bibliothek mit Schlüsselwörtern für eine Ausleih-App. Wie hilft ein LLM am meisten beim Erzeugen neuer Regressionsskripte?
- Welche Prompting-Technik eignet sich gut, um schlüsselwortgetriebene Testskripte in einheitlicher Form erzeugen zu lassen?
- In einer Fahrrad-Verleih-App wurde nur die Preisberechnung für Wochenendmieten geändert. Was bringt eine KI-gestützte Auswirkungsanalyse?
- Im Shop einer Apotheke heißt das Feld „PLZ“ nun „Postleitzahl“, die Funktion ist gleich. Was leistet ein selbstheilender Test?
- Welches Ziel verfolgen selbstheilende Tests auf lange Sicht?
- Ein LLM erzeugt nach jedem nächtlichen Regressionslauf einen Bericht. Was gehört sinnvoll hinein?
- Ein Regressionslauf liefert 30 Fehlschläge. Welcher erste Schritt einer strukturierten Berichtsanalyse mit einem LLM ist sinnvoll?
- Wozu dient eine Liste bekannter Anomalien bei der KI-gestützten Analyse von Regressionsergebnissen?
- Eine Verleih-API verlangt künftig ein neues Anmeldeverfahren. Wie kann GenAI die API-Regressionstests unterstützen?
- Was meint man mit dynamischen Locatoren, an die GenAI GUI-Skripte anpassen kann?
- Welche vorausschauende Information kann ein KI-gestützter Testbericht im Regressionstest liefern?
Testüberwachung und Teststeuerung
- Ein LLM erhält einen Export aus dem Testmanagement einer Krankenhaus-App. Welches Ergebnis ist für die Testüberwachung am nützlichsten?
- Die Überwachung zeigt, dass Tests für die Medikamentenliste weit hinter dem Plan liegen. Welche Hilfe von GenAI passt zur Teststeuerung?
- Welchen Nutzen haben von GenAI erstellte Abschlussberichte über das einzelne Projekt hinaus?
- Was zeichnet ein dynamisches Dashboard aus, das GenAI mit aufbauen hilft?
- Ein LLM hat aus einem Werkzeugexport Kennzahlen für das Dashboard einer Kita-Verwaltungs-App berechnet. Was sollte vor der Veröffentlichung geschehen?
Wahl der Prompting-Technik
- Aus User Stories einer Bahn-App sollen Testbedingungen, dann Testfälle und schließlich Skripte entstehen; jede Stufe soll geprüft werden. Welche Technik passt?
- Ein Team will erstmals Logdateien auf Anomalien untersuchen lassen und hat noch keinen passenden Prompt. Welche Technik ist ein guter Start?
- Welche Reihenfolge beschreibt eine sinnvolle Kombination der drei Prompting-Techniken?
- Für welche Testaufgabe ist Meta-Prompting typischerweise gut geeignet?
Schwer
Regressionstest mit GenAI
- Eine KI-Auswirkungsanalyse empfiehlt nach einer Änderung an der Rabattlogik eines Ticketshops nur 12 von 400 Regressionstests. Wie geht ein Testteam am besten vor?
- Ein selbstheilender Test passt sich an, weil der Knopf „Bestellen“ verschwunden ist, und klickt nun auf „Merken“. Was zeigt dieser Fall?
- Ein LLM erzeugt Skripte für ein schlüsselwortgetriebenes Framework, doch einige brechen ab, weil Schlüsselwörter falsch geschrieben sind. Welche Maßnahme hilft am gezieltesten?
- Ein Team richtet per Systemprompt einen KI-Assistenten ein, der schlüsselwortgetriebene Skripte prüft und korrigiert. Welche Angabe gehört am ehesten in diesen Systemprompt?
- Eine strukturierte Analyse von Regressionsergebnissen läuft in einem einzigen LLM-Gespräch. Welche Reihenfolge ist am sinnvollsten?
- Ein LLM fasst 25 fehlgeschlagene Tests einer Versicherungs-App zu drei Fehlergruppen zusammen. Welches Risiko besteht dabei?
- Für welche Arten von Regressionstests kann GenAI eingesetzt werden?
- Eine API für Paketverfolgung liefert statt „status“ nun ein Objekt „tracking“ mit Unterfeldern. Was ist beim Anpassen der Tests mit GenAI wichtig?
- Warum passt GenAI gut zur Pflege von Regressionssuiten in schnellen Release-Zyklen?
- Eine KI-gestützte Auswirkungsanalyse soll in einer CI-Pipeline Regressionstests auswählen. Welche Voraussetzung ist dafür am wichtigsten?
Testüberwachung und Teststeuerung
- Ein LLM meldet anhand der Testdaten, dass die Fehlerrate im Modul „Abrechnung“ stark steigt. Was ist der beste nächste Schritt?
- Zwei Wochen vor dem Release schlägt ein LLM vor, Tests mit geringem Risiko zu verschieben, um kritische Bereiche gründlicher zu testen. Wie ist das einzuordnen?
- Was unterscheidet Teststeuerung von Testüberwachung, wenn beide von GenAI unterstützt werden?
- Ein LLM schreibt für die Geschäftsleitung eine Zusammenfassung des Teststands. Welche Gefahr ist dabei am größten?
- Testdaten aus mehreren Werkzeugen sind teils unstrukturiert, etwa Freitext-Kommentare. Was ist ein typischer Beitrag von GenAI zur Testüberwachung?
Wahl der Prompting-Technik
- Ein Team will wöchentliche Regressionsberichte immer im selben Tabellenformat erhalten. Warum ist Few-Shot-Prompting hier Meta-Prompting überlegen?
- Testskripte für eine Banking-App sollen schrittweise entstehen; jeder Testschritt soll auf fachliche Richtigkeit geprüft werden. Was spricht gegen einen einzigen großen Prompt?
- Welches Risiko besteht, wenn ein per Meta-Prompting erzeugter Prompt ungeprüft eingesetzt wird?
- Welche Eigenschaft einer Testaufgabe spricht am stärksten für Prompt Chaining statt Few-Shot-Prompting?
- In einer Prompt-Kette für eine Reisekosten-App liefert Schritt 2 Testfälle mit falschen erwarteten Ergebnissen. Wie geht man vor?