ISTQB CT-GenAI
LLM-gestützte Testinfrastruktur
Einfach
Architektur und RAG
- Welche Aufgabe hat das Frontend in einer LLM-gestützten Testinfrastruktur?
- Welche Aufgabe übernimmt typischerweise das Backend einer LLM-gestützten Testinfrastruktur?
- Wie kann das Sprachmodell in einer LLM-gestützten Testinfrastruktur bereitgestellt werden?
- Wofür dient eine Vektordatenbank in einer LLM-gestützten Testinfrastruktur?
- Was leistet Retrieval-Augmented Generation (RAG)?
- Warum werden große Textbestände für RAG in kleinere Abschnitte (Chunks) zerlegt?
- Welchen Nutzen hat RAG in der Testanalyse?
LLM-gestützte Agenten
- Was unterscheidet einen LLM-gestützten Agenten von einem einfachen KI-Chatbot?
- Was ist bei LLM-gestützten Agenten mit „Tools“ gemeint?
- Wodurch zeichnet sich ein autonomer Agent aus?
- Was kennzeichnet einen halbautonomen Agenten?
- Was bezeichnet man bei Multi-Agenten-Systemen als Orchestrierung?
- Welche Schwäche haben LLM-gestützte Agenten mit Sprachmodellen gemeinsam?
Fine-Tuning und LLMOps
- Was versteht man unter Fine-Tuning eines Sprachmodells?
- Warum kann es sinnvoll sein, ein kleines Sprachmodell (SLM) statt eines LLM per Fine-Tuning anzupassen?
- Was bedeutet Überanpassung (Overfitting) beim Fine-Tuning?
- Was ist beim Fine-Tuning für Testaufgaben besonders wichtig, um verzerrte Ergebnisse zu vermeiden?
- Was bezeichnet LLMOps?
- Welcher der folgenden Wege ist eine übliche Art, generative KI in die Testprozesse einer Organisation zu bringen?
- Schließen sich die Wege KI-Chatbot, GenAI-Testwerkzeug und Eigenentwicklung gegenseitig aus?
Mittel
Architektur und RAG
- Worin unterscheidet sich ein LLM-gestütztes Testwerkzeug von einem allgemeinen KI-Chatbot?
- Ein Backend prüft die Rohantwort des Modells und bringt sie in das Format des Testmanagement-Werkzeugs, bevor sie angezeigt wird. Wie nennt man diesen Schritt?
- Ein Team will Testfälle mit festen Feldern wie ID, Priorität und Status ablegen und zusätzlich zu einer Frage inhaltlich verwandte Fehlerberichte finden. Welche Kombination passt?
- In welcher Reihenfolge laufen die Schritte bei RAG ab, nachdem eine Frage gestellt wurde?
- Was geschieht bei RAG in der Vorverarbeitung, also bevor Anfragen gestellt werden?
- Eine Krankenkasse ändert ihre Erstattungsregeln jeden Monat. Das Testteam will Testfälle stets passend zur aktuellen Regelung erzeugen lassen. Welcher Ansatz passt am besten?
- Was zeichnet eine durch RAG gestützte Antwort aus?
LLM-gestützte Agenten
- Ein Agent liest eine User Story, legt im Testmanagement-Werkzeug Testfälle an und startet sie in der CI-Pipeline. Welche Fähigkeit macht das möglich?
- Ein Agent soll Testfälle für die Dosierungsberechnung einer Medizin-App erstellen und ausführen. Wie lässt sich das Risiko fehlerhafter Agentenergebnisse hier am besten senken?
- Ein Team lässt einen autonomen Agenten nachts Regressionstests auswerten. Welche Maßnahme senkt das Risiko, dass falsche Auswertungen unbemerkt bleiben?
- Ein Werkzeug setzt je einen Agenten für Testanalyse, Testentwurf und Ausführung ein, die sich gegenseitig Ergebnisse übergeben. Was ist der erwartete Vorteil?
- Wie verändert sich Testautomatisierung durch agentenbasierte KI-Assistenten im Testwerkzeug?
- Bei welchen Testaktivitäten können KI-Assistenten auf Basis von Agenten unterstützen?
Fine-Tuning und LLMOps
- Ein Energieversorger will, dass ein Modell Fehlerberichte mit hauseigenen Begriffen wie „Abschlag“ und „Zählerwechsel“ im festen Hausformat schreibt. Welcher Ansatz zielt genau darauf?
- Ein feinabgestimmtes Modell liefert merkwürdige Testfälle, und niemand kann nachvollziehen, warum. Welche Herausforderung des Fine-Tunings zeigt sich hier?
- Ein kleines Testteam möchte ein großes LLM selbst per Fine-Tuning anpassen. Welche Hürde ist dabei besonders zu bedenken?
- Ein Team will für Testaufgaben einen KI-Chatbot nutzen. Worauf richtet sich das LLMOps-Augenmerk bei diesem Weg vor allem?
- Was muss eine Organisation zusätzlich prüfen, wenn sie ein Testwerkzeug eines Herstellers mit GenAI-Funktionen einführt?
- Was erfordert der Weg, ein GenAI-Testwerkzeug selbst zu entwickeln, vor allem?
- Worin unterscheidet sich Fine-Tuning grundlegend von RAG?
Schwer
Architektur und RAG
- Warum gilt die Architektur einer LLM-gestützten Testinfrastruktur als mehr als ein klassisches Client-Server-Modell?
- Ein Team zerlegt sein Anforderungshandbuch für RAG in sehr große Abschnitte von je 20 Seiten. Welche Folge ist am wahrscheinlichsten?
- Ein Tester fragt ein RAG-System nach „Abbruch der Bezahlung“. In den Anforderungen steht nur „Zahlungsvorgang wird storniert“. Warum findet das System die Stelle trotzdem?
- Ein RAG-System liefert Testfälle zu einer Regel, die vor zwei Monaten geändert wurde, noch in der alten Fassung. Was ist die wahrscheinlichste Ursache?
- Ein Team vergleicht für eine Testaufgabe die Ausgaben eines LLM mit und ohne RAG. Welche Beobachtung ist am ehesten zu erwarten?
- Wo sollte in einer LLM-gestützten Testinfrastruktur geregelt werden, welcher Tester auf welche Projektdaten zugreifen darf?
- Welche Aussage über die Datenquellen im Backend einer LLM-gestützten Testinfrastruktur trifft zu?
LLM-gestützte Agenten
- Ein Agent soll jede Nacht veraltete Testdaten in einer isolierten Testumgebung zurücksetzen. Die Aufgabe ist klar umrissen, Fehler sind leicht zu beheben. Welcher Autonomiegrad ist hier am ehesten vertretbar?
- In welchem Fall reicht ein KI-Chatbot nicht aus und ein LLM-gestützter Agent ist nötig?
- Welche Aussage über LLM-gestützte Agenten im Testprozess ist falsch?
- Ein Agent wertet Testergebnisse aus und markiert einen echten Fehler fälschlich als „bekanntes Problem“. Warum ist das in einer automatisierten Pipeline besonders heikel?
- Wofür nutzt ein LLM-gestützter Agent das Sprachmodell im Kern?
- Ein Team setzt einen agentenbasierten Assistenten ein, der aus neuen User Stories direkt Tests ableitet und ausführt. Welcher Vorteil ist zu erwarten, und was bleibt zu beachten?
Fine-Tuning und LLMOps
- Ein Bahnunternehmen will, dass ein Modell die stabile Fachlogik der Fahrgastrechte sicher beherrscht und zugleich stets den aktuellen Fahrplan berücksichtigt. Welche Kombination passt am besten?
- Ein auf Testfälle eines Online-Shops feinabgestimmtes Modell schreibt gute Testfälle für den Warenkorb, versagt aber bei der neuen Retourenfunktion. Welche Herausforderung zeigt sich hier am ehesten?
- Ein Team nutzt für das Fine-Tuning nur Testfälle aus einem Projekt, in dem Negativtests kaum vorkamen. Was ist die wahrscheinlichste Folge?
- In welcher Reihenfolge läuft ein Fine-Tuning für eine Testaufgabe sinnvollerweise ab?
- Eine Behörde darf Testdaten unter keinen Umständen an Dritte geben und will dennoch GenAI im Test nutzen. Welcher Weg bietet die größte Kontrolle über Datenschutz und Sicherheit?
- Der Anbieter des genutzten LLM spielt eine neue Modellversion ein, und die erzeugten Testfälle ändern sich spürbar. Zu welchem Aufgabenbereich gehört der Umgang damit vor allem?
- Ein Unternehmen nutzt einen KI-Chatbot für Ideen zu Testbedingungen und entwickelt zugleich ein eigenes Werkzeug mit RAG für die Testfallerstellung. Wie ist das zu bewerten?