ISTQB CT-GenAI
GenAI in Testanalyse, Testentwurf und Testrealisierung
Einfach
Testanalyse mit GenAI
- Welche Eingabe eignet sich typischerweise als Grundlage, wenn ein LLM bei der Testanalyse helfen soll?
- Was ist ein typisches Arbeitsergebnis der Testanalyse mit GenAI?
- Wovon hängt die Genauigkeit der LLM-Ergebnisse in der Testanalyse besonders ab?
- Wobei kann GenAI in der Testbasis helfen, noch bevor getestet wird?
- Ein LLM zerlegt die Story „Als Mitglied möchte ich meine Ausleihe verlängern“ in einzelne prüfbare Aussagen. Welche Aufgabe ist das?
- Welche Angaben braucht ein LLM, um Testbedingungen sinnvoll nach Risiko zu ordnen?
- Wozu ordnet ein LLM Anforderungen den vorhandenen Testbedingungen zu?
- Ein Eingabefeld akzeptiert Mengen von 1 bis 50. Welches Testverfahren sollte ein LLM hier vorschlagen?
- Ein Prompt enthält eine User Story als Text und einen Oberflächenentwurf als Bild. Wie nennt man einen solchen Prompt?
- Akzeptanzkriterien werden per Prompt Chaining schrittweise verbessert. Was geschieht zwischen zwei Schritten?
Testentwurf und Testrealisierung mit GenAI
- Was kann ein LLM beim Erzeugen von Testfällen vorschlagen? (Mehrere Antworten richtig)
- Warum erzeugt man mit GenAI synthetische Testdaten, statt echte Produktionsdaten zu verwenden?
- Was sollten gute synthetische Testdaten abdecken? (Mehrere Antworten richtig)
- Ein LLM erhält strukturierte Testfälle und liefert daraus Code für ein Testautomatisierungsframework. Welche Aufgabe ist das?
- Neue Anforderungen kommen hinzu. Was kann GenAI mit den vorhandenen Testskripten tun?
- Welche Faktoren kann ein LLM beim Planen der Testausführung berücksichtigen? (Mehrere Antworten richtig)
- Welche Schlüsselwörter bilden das Grundmuster eines Gherkin-Szenarios?
- Ein Few-Shot-Prompt für Gherkin-Szenarien enthält vorab mehrere Beispiele aus Story, Testbedingungen und Szenarien. Was zeigen diese Beispiele dem Modell?
- Nach dem Erzeugen von Testfällen lässt man das Modell eine Tabelle erstellen, die jedes Akzeptanzkriterium den Testfällen zuordnet. Wozu dient das?
- Ein Tester bittet das Modell, ihm einen besseren Prompt für End-to-End-Testabläufe vorzuschlagen. Welche Technik nutzt er?
Mittel
Testanalyse mit GenAI
- Eine Story lautet: „Nutzer können Fotos in angemessener Größe hochladen.“ Was würde ein LLM bei der Prüfung der Testbasis am ehesten bemängeln?
- Wie kann ein LLM Auffälligkeiten in Anforderungen zuverlässiger erkennen? (Mehrere Antworten richtig)
- Aus „Bestellungen ab 200 € werden ohne Versandkosten geliefert“ leitet ein LLM Testbedingungen ab. Welche ist am treffendsten?
- Bei gleicher Eintrittswahrscheinlichkeit: Welche Testbedingung sollte ein LLM am höchsten priorisieren?
- Welche Aspekte kann ein LLM beim Priorisieren von Testbedingungen sinnvoll einbeziehen? (Mehrere Antworten richtig)
- Ein LLM meldet, dass Anforderung R7 keiner Testbedingung zugeordnet ist. Was droht, wenn das unbemerkt bleibt?
- Ein Antrag durchläuft die Status Entwurf, Eingereicht, Genehmigt und Abgelehnt. Welches Testverfahren sollte ein LLM vorschlagen?
- Ein Upload akzeptiert PDF, JPG und PNG; alle anderen Dateitypen werden abgelehnt. Welches Verfahren sollte ein LLM vorschlagen?
- Warum fügt man einer User Story einen Oberflächenentwurf als Bild hinzu, wenn ein LLM Akzeptanzkriterien erzeugen soll?
- Welche Zusatzangaben ergänzen einen multimodalen Prompt für Akzeptanzkriterien sinnvoll? (Mehrere Antworten richtig)
- Eine Prompt-Kette verbessert Akzeptanzkriterien in drei Schritten. Welche Reihenfolge ist sinnvoll?
- Ein Zwischenergebnis der Kette enthält einen offensichtlichen Fehler. Wie geht man am besten vor?
Testentwurf und Testrealisierung mit GenAI
- Ein LLM erzeugt für ein Registrierungsformular nur Positivfälle. Wie verbessert man den Prompt am gezieltesten?
- Ein Team braucht Testdaten für die App einer Krankenkasse. Welcher GenAI-Einsatz ist am sinnvollsten?
- Für welche Testarten lassen sich KI-erzeugte synthetische Testdaten nutzen? (Mehrere Antworten richtig)
- Ein LLM übersetzt Testschritte in Code für ein Automatisierungsframework. Was ist vor dem Einchecken am wichtigsten?
- Testfall B braucht einen Kunden, den Testfall A anlegt. Was muss ein vom LLM erstellter Ausführungsplan berücksichtigen?
- Ein Few-Shot-Prompt liefert Gherkin-Szenarien, die nicht zu den Testbedingungen passen. Was empfiehlt sich?
- Ein Ablauf: Testfälle aus Akzeptanzkriterien erzeugen, Überdeckung per Tabelle prüfen, dann per Meta-Prompt End-to-End-Abläufe ausarbeiten. Welche Techniken werden kombiniert? (Mehrere Antworten richtig)
- Ein LLM soll eine Testsuite priorisieren und dabei Risiken und Abhängigkeiten abwägen. Warum muss man das Ergebnis besonders sorgfältig prüfen?
Schwer
Testanalyse mit GenAI
- Welche Eingaben passen typischerweise zur Testanalyse mit GenAI? (Mehrere Antworten richtig)
- Story A: „Gäste können ohne Konto bestellen.“ Story B: „Jede Bestellung ist einem Kundenkonto zugeordnet.“ Was sollte ein LLM bei der Prüfung melden?
- Ein LLM hat Testbedingungen priorisiert, ohne Angaben zu Wahrscheinlichkeit oder Auswirkung erhalten zu haben. Wie ist das Ergebnis einzuschätzen?
- Bei welchem Projekt lohnt sich eine LLM-gestützte Überdeckungsanalyse am meisten?
- Ein Rabatt hängt von drei Bedingungen ab: Kundenstatus, Bestellwert und Gutschein. Welches Verfahren sollte ein LLM vorschlagen?
- Ein LLM schlägt für eine Story ein bestimmtes Testverfahren vor. Wie geht man damit richtig um?
- Ein Team vergleicht Akzeptanzkriterien aus mehreren Prompt-Varianten: mit und ohne Bild, mit vager und mit genauer Anweisung. Was soll der Vergleich zeigen?
- Welche Eigenschaften zeichnen gut geformte Akzeptanzkriterien aus? (Mehrere Antworten richtig)
- Warum verfeinert man Akzeptanzkriterien in mehreren Prompt-Schritten statt mit einem einzigen großen Prompt? (Mehrere Antworten richtig)
Testentwurf und Testrealisierung mit GenAI
- Welche Aufgabe gehört zum Testentwurf und nicht zur Testanalyse?
- Was ist der Kern der Testrealisierung?
- Ein LLM soll End-to-End-Testfälle für eine Hotelbuchung erzeugen: Suche, Auswahl, Zahlung, Bestätigung. Welcher Zusatz im Prompt bringt am meisten?
- Ein LLM erzeugt synthetische Kundendaten. Welche Risiken sollte man prüfen? (Mehrere Antworten richtig)
- Ein generiertes Testskript ruft eine Methode auf, die es im eingesetzten Framework gar nicht gibt. Worum handelt es sich am wahrscheinlichsten?
- Was kann GenAI aus strukturierten Testfällen erzeugen? (Mehrere Antworten richtig)
- Ein LLM-Plan setzt einen hoch priorisierten Test an den Anfang, obwohl er Daten aus einem anderen Test braucht. Was folgt daraus?
- Welche Ansätze kann man bei der Testfallpriorisierung mit GenAI gegeneinander vergleichen? (Mehrere Antworten richtig)
- Worauf kommt es bei der Auswahl der Beispiele für einen Few-Shot-Prompt zu Gherkin-Szenarien vor allem an?
- Welche Zuordnung ist in einem Gherkin-Szenario richtig?
- Warum lohnt sich ein Meta-Prompt besonders für End-to-End-Testabläufe?