ISTQB CT-GenAI
Aufbau von Prompts und Prompting-Techniken
Einfach
Aufbau strukturierter Prompts
- Aus wie vielen Komponenten besteht ein strukturierter Prompt für Testaufgaben typischerweise?
- Welche Prompt-Komponente legt fest, aus welcher Perspektive das Modell antworten soll, etwa als Testmanagerin?
- Welche Komponente liefert dem Modell Hintergrundwissen über das Testobjekt und die zu testende Funktion?
- Ein Prompt enthält den Satz „Entwirf Testfälle für die Grenzwerte des Rabattfeldes.“ Welche Komponente ist das?
- Wie sollte die Anweisung in einem Prompt formuliert sein?
- Welches Beispiel gehört zu den Eingabedaten eines Prompts?
- Welche Komponente legt Grenzen fest, an die sich das Modell halten muss, etwa „höchstens zehn Testfälle“?
- „Liefere die Testfälle als Tabelle mit den Spalten ID, Vorbedingung, Schritte und erwartetes Ergebnis.“ Welche Komponente ist das?
- Warum lohnt es sich, dem Modell ausführliche und gut gegliederte Eingabedaten mitzugeben?
Prompting-Techniken
- Welche Technik verteilt eine Aufgabe auf mehrere aufeinanderfolgende Prompts, deren Zwischenergebnisse geprüft werden?
- Wie heißt ein Prompt, der kein einziges Beispiel enthält und sich ganz auf das Vorwissen des Modells stützt?
- Ein Prompt zeigt genau ein Paar aus Eingabe und gewünschtem Ergebnis und stellt dann die eigentliche Aufgabe. Welche Technik ist das?
- Für welche Aufgaben eignet sich Few-Shot-Prompting besonders?
- Bei welcher Technik entwirft oder verbessert das Sprachmodell selbst Prompts?
- Tester und Modell erarbeiten beim Meta-Prompting gemeinsam einen Prompt. Wie lässt sich diese Zusammenarbeit beschreiben?
- Welche Aussage über Prompt Chaining, Few-Shot- und Meta-Prompting trifft zu?
System- und Benutzer-Prompt
Mittel
Aufbau strukturierter Prompts
- Welche Bausteine gehören zu den sechs Komponenten eines strukturierten Prompts? (Mehrere Antworten richtig)
- Ein Prompt beginnt mit „Du bist erfahrene Testerin für Banking-Apps.“ Danach folgt „Die App erlaubt Überweisungen bis 5000 Euro am Tag; neu ist ein frei wählbares Tageslimit.“ Welche Komponenten sind das, in dieser Reihenfolge?
- Welche Beispiele zählen zu den Eingabedaten eines Prompts? (Mehrere Antworten richtig)
- Welche Angaben sind Einschränkungen im Sinne des Prompt-Aufbaus? (Mehrere Antworten richtig)
- Welche Aufgabe haben Einschränkungen im Zusammenspiel mit Anweisung und Eingabedaten?
- Welche Angaben gehören zum Ausgabeformat? (Mehrere Antworten richtig)
Prompting-Techniken
- Welche Merkmale gehören zum Prompt Chaining? (Mehrere Antworten richtig)
- Wann ist Prompt Chaining besonders nützlich?
- Worin unterscheiden sich Zero-Shot-, One-Shot- und Few-Shot-Prompting?
- Was bewirken mehrere Beispiele in einem Few-Shot-Prompt? (Mehrere Antworten richtig)
- Welche Vorteile bietet Meta-Prompting? (Mehrere Antworten richtig)
- Wie läuft Meta-Prompting typischerweise ab?
- In welchen Bereichen kann die Zusammenarbeit im Paar mit einem KI-Werkzeug Produktivität und Lernen fördern? (Mehrere Antworten richtig)
- „Hier sind drei Fehlerberichte im Format Titel, Schritte, erwartet, tatsächlich. Schreibe zur folgenden Beobachtung einen Bericht im gleichen Format.“ Welche Technik nutzt dieser Prompt?
- Wovon hängt ab, welche Prompting-Technik man mit dem sechsteiligen Prompt-Aufbau kombiniert?
System- und Benutzer-Prompt
- Welche Teile eines strukturierten Prompts eignen sich typischerweise für den System-Prompt? (Mehrere Antworten richtig)
- Welche Beispiele sind Betriebsparameter, die ein System-Prompt festlegen kann? (Mehrere Antworten richtig)
- Was berücksichtigt das Modell bei jeder Antwort in einem Chat mit System-Prompt?
- Was sollte ein guter Benutzer-Prompt enthalten? (Mehrere Antworten richtig)
- Wie werden System- und Benutzer-Prompt üblicherweise eingesetzt?
Schwer
Aufbau strukturierter Prompts
- Ein Tester schickt nur „Erzeuge Testfälle für das Login.“ Die Antwort ist allgemein und passt nicht zum Projekt. Welche fehlenden Komponenten erklären das am ehesten? (Mehrere Antworten richtig)
- Ein Prompt enthält einen Screenshot eines Formulars, den Satz „Leite Testbedingungen ab.“, den Hinweis „Betrachte nur Pflichtfelder.“ und „Ausgabe als nummerierte Liste.“ Welche Zuordnungen stimmen? (Mehrere Antworten richtig)
- „Du bist Testautomatisierer. Schreibe Playwright-Tests. Hier ist das HTML der Seite. Nutze nur data-testid-Selektoren. Gib eine TypeScript-Datei aus.“ Welche Komponente fehlt?
- Ein Prompt zum Entwurf von Testfällen enthält kein Ausgabeformat. Welche Folgen sind typisch? (Mehrere Antworten richtig)
Prompting-Techniken
- Ein Team will mit einem Modell erst Testbedingungen aus einer Spezifikation ableiten, diese prüfen, daraus Testfälle entwerfen und zuletzt Testdaten erzeugen. Welche Technik passt am besten und warum?
- Ein Prompt lautet: „Beispiel: Postleitzahl ‚1234‘ ergibt ‚ungültig, nur vier Ziffern‘. Bewerte nun: ‚9A123‘.“ Welche Technik liegt vor?
- Eine Testerin schreibt: „Ich brauche Testideen für eine Prüfung der Barrierefreiheit. Schlag mir einen passenden Prompt vor und frag nach, was dir dafür fehlt.“ Welche Technik nutzt sie?
- Ein Few-Shot-Prompt enthält drei Beispieltestfälle, alle mit gültigen Eingaben. Das Modell liefert fast nur Positivtests. Was ist die naheliegendste Verbesserung?
- Welche Zuordnungen von Technik und Merkmal sind richtig? (Mehrere Antworten richtig)
- Einem Testmanager ist Prompt Chaining zu langsam. Er will alle Schritte in einen einzigen großen Prompt packen. Welches Risiko entsteht vor allem?
- Ein Modell hat per Meta-Prompting einen Prompt für die Erzeugung von Testdaten vorgeschlagen. Was bleibt Aufgabe des Testers? (Mehrere Antworten richtig)
- Nach dem ersten Schritt einer Prompt-Kette zeigt sich, dass das Modell zwei Akzeptanzkriterien übersehen hat. Wie geht man im Sinne der Technik vor?
- In welcher Situation reicht Zero-Shot-Prompting am ehesten aus?
- Im Team sollen die Titel von Fehlerberichten, die ein Modell vorschlägt, einheitlich aufgebaut sein. Welche Technik hilft dafür am meisten?
- Ein Team lässt sich vom Modell einen Prompt zur Ableitung von Testdaten vorschlagen, ergänzt ihn um zwei Beispieldatensätze und nutzt ihn als ersten Schritt einer geprüften Kette. Welche Techniken kommen vor? (Mehrere Antworten richtig)
System- und Benutzer-Prompt
- Welche Aussagen über den System-Prompt treffen zu? (Mehrere Antworten richtig)
- Ein Unternehmen stellt Testern einen internen Chatbot bereit. Jede Antwort soll förmlich und auf Englisch sein, und das Modell soll nicht spekulieren. Wo wird das am besten festgelegt?
- Ein Team richtet einen Testassistenten ein. Was gehört eher in die Benutzer-Prompts als in den System-Prompt? (Mehrere Antworten richtig)
- Nutzer eines internen Testassistenten klagen, die Antworten seien viel zu lang. Wie behebt man das für alle Nutzer am besten?
- Welche Aussagen über Benutzer-Prompts treffen zu? (Mehrere Antworten richtig)