ISTQB CT-GenAI

LLM-gestützte Testinfrastruktur

60 Fragen

Einfach

Architektur und RAG

  1. Welche Aufgabe hat das Frontend in einer LLM-gestützten Testinfrastruktur?
  2. Welche Aufgabe übernimmt typischerweise das Backend einer LLM-gestützten Testinfrastruktur?
  3. Wie kann das Sprachmodell in einer LLM-gestützten Testinfrastruktur bereitgestellt werden?
  4. Wofür dient eine Vektordatenbank in einer LLM-gestützten Testinfrastruktur?
  5. Was leistet Retrieval-Augmented Generation (RAG)?
  6. Warum werden große Textbestände für RAG in kleinere Abschnitte (Chunks) zerlegt?
  7. Welchen Nutzen hat RAG in der Testanalyse?

LLM-gestützte Agenten

  1. Was unterscheidet einen LLM-gestützten Agenten von einem einfachen KI-Chatbot?
  2. Was ist bei LLM-gestützten Agenten mit „Tools“ gemeint?
  3. Wodurch zeichnet sich ein autonomer Agent aus?
  4. Was kennzeichnet einen halbautonomen Agenten?
  5. Was bezeichnet man bei Multi-Agenten-Systemen als Orchestrierung?
  6. Welche Schwäche haben LLM-gestützte Agenten mit Sprachmodellen gemeinsam?

Fine-Tuning und LLMOps

  1. Was versteht man unter Fine-Tuning eines Sprachmodells?
  2. Warum kann es sinnvoll sein, ein kleines Sprachmodell (SLM) statt eines LLM per Fine-Tuning anzupassen?
  3. Was bedeutet Überanpassung (Overfitting) beim Fine-Tuning?
  4. Was ist beim Fine-Tuning für Testaufgaben besonders wichtig, um verzerrte Ergebnisse zu vermeiden?
  5. Was bezeichnet LLMOps?
  6. Welcher der folgenden Wege ist eine übliche Art, generative KI in die Testprozesse einer Organisation zu bringen?
  7. Schließen sich die Wege KI-Chatbot, GenAI-Testwerkzeug und Eigenentwicklung gegenseitig aus?

Mittel

Architektur und RAG

  1. Worin unterscheidet sich ein LLM-gestütztes Testwerkzeug von einem allgemeinen KI-Chatbot?
  2. Ein Backend prüft die Rohantwort des Modells und bringt sie in das Format des Testmanagement-Werkzeugs, bevor sie angezeigt wird. Wie nennt man diesen Schritt?
  3. Ein Team will Testfälle mit festen Feldern wie ID, Priorität und Status ablegen und zusätzlich zu einer Frage inhaltlich verwandte Fehlerberichte finden. Welche Kombination passt?
  4. In welcher Reihenfolge laufen die Schritte bei RAG ab, nachdem eine Frage gestellt wurde?
  5. Was geschieht bei RAG in der Vorverarbeitung, also bevor Anfragen gestellt werden?
  6. Eine Krankenkasse ändert ihre Erstattungsregeln jeden Monat. Das Testteam will Testfälle stets passend zur aktuellen Regelung erzeugen lassen. Welcher Ansatz passt am besten?
  7. Was zeichnet eine durch RAG gestützte Antwort aus?

LLM-gestützte Agenten

  1. Ein Agent liest eine User Story, legt im Testmanagement-Werkzeug Testfälle an und startet sie in der CI-Pipeline. Welche Fähigkeit macht das möglich?
  2. Ein Agent soll Testfälle für die Dosierungsberechnung einer Medizin-App erstellen und ausführen. Wie lässt sich das Risiko fehlerhafter Agentenergebnisse hier am besten senken?
  3. Ein Team lässt einen autonomen Agenten nachts Regressionstests auswerten. Welche Maßnahme senkt das Risiko, dass falsche Auswertungen unbemerkt bleiben?
  4. Ein Werkzeug setzt je einen Agenten für Testanalyse, Testentwurf und Ausführung ein, die sich gegenseitig Ergebnisse übergeben. Was ist der erwartete Vorteil?
  5. Wie verändert sich Testautomatisierung durch agentenbasierte KI-Assistenten im Testwerkzeug?
  6. Bei welchen Testaktivitäten können KI-Assistenten auf Basis von Agenten unterstützen?

Fine-Tuning und LLMOps

  1. Ein Energieversorger will, dass ein Modell Fehlerberichte mit hauseigenen Begriffen wie „Abschlag“ und „Zählerwechsel“ im festen Hausformat schreibt. Welcher Ansatz zielt genau darauf?
  2. Ein feinabgestimmtes Modell liefert merkwürdige Testfälle, und niemand kann nachvollziehen, warum. Welche Herausforderung des Fine-Tunings zeigt sich hier?
  3. Ein kleines Testteam möchte ein großes LLM selbst per Fine-Tuning anpassen. Welche Hürde ist dabei besonders zu bedenken?
  4. Ein Team will für Testaufgaben einen KI-Chatbot nutzen. Worauf richtet sich das LLMOps-Augenmerk bei diesem Weg vor allem?
  5. Was muss eine Organisation zusätzlich prüfen, wenn sie ein Testwerkzeug eines Herstellers mit GenAI-Funktionen einführt?
  6. Was erfordert der Weg, ein GenAI-Testwerkzeug selbst zu entwickeln, vor allem?
  7. Worin unterscheidet sich Fine-Tuning grundlegend von RAG?

Schwer

Architektur und RAG

  1. Warum gilt die Architektur einer LLM-gestützten Testinfrastruktur als mehr als ein klassisches Client-Server-Modell?
  2. Ein Team zerlegt sein Anforderungshandbuch für RAG in sehr große Abschnitte von je 20 Seiten. Welche Folge ist am wahrscheinlichsten?
  3. Ein Tester fragt ein RAG-System nach „Abbruch der Bezahlung“. In den Anforderungen steht nur „Zahlungsvorgang wird storniert“. Warum findet das System die Stelle trotzdem?
  4. Ein RAG-System liefert Testfälle zu einer Regel, die vor zwei Monaten geändert wurde, noch in der alten Fassung. Was ist die wahrscheinlichste Ursache?
  5. Ein Team vergleicht für eine Testaufgabe die Ausgaben eines LLM mit und ohne RAG. Welche Beobachtung ist am ehesten zu erwarten?
  6. Wo sollte in einer LLM-gestützten Testinfrastruktur geregelt werden, welcher Tester auf welche Projektdaten zugreifen darf?
  7. Welche Aussage über die Datenquellen im Backend einer LLM-gestützten Testinfrastruktur trifft zu?

LLM-gestützte Agenten

  1. Ein Agent soll jede Nacht veraltete Testdaten in einer isolierten Testumgebung zurücksetzen. Die Aufgabe ist klar umrissen, Fehler sind leicht zu beheben. Welcher Autonomiegrad ist hier am ehesten vertretbar?
  2. In welchem Fall reicht ein KI-Chatbot nicht aus und ein LLM-gestützter Agent ist nötig?
  3. Welche Aussage über LLM-gestützte Agenten im Testprozess ist falsch?
  4. Ein Agent wertet Testergebnisse aus und markiert einen echten Fehler fälschlich als „bekanntes Problem“. Warum ist das in einer automatisierten Pipeline besonders heikel?
  5. Wofür nutzt ein LLM-gestützter Agent das Sprachmodell im Kern?
  6. Ein Team setzt einen agentenbasierten Assistenten ein, der aus neuen User Stories direkt Tests ableitet und ausführt. Welcher Vorteil ist zu erwarten, und was bleibt zu beachten?

Fine-Tuning und LLMOps

  1. Ein Bahnunternehmen will, dass ein Modell die stabile Fachlogik der Fahrgastrechte sicher beherrscht und zugleich stets den aktuellen Fahrplan berücksichtigt. Welche Kombination passt am besten?
  2. Ein auf Testfälle eines Online-Shops feinabgestimmtes Modell schreibt gute Testfälle für den Warenkorb, versagt aber bei der neuen Retourenfunktion. Welche Herausforderung zeigt sich hier am ehesten?
  3. Ein Team nutzt für das Fine-Tuning nur Testfälle aus einem Projekt, in dem Negativtests kaum vorkamen. Was ist die wahrscheinlichste Folge?
  4. In welcher Reihenfolge läuft ein Fine-Tuning für eine Testaufgabe sinnvollerweise ab?
  5. Eine Behörde darf Testdaten unter keinen Umständen an Dritte geben und will dennoch GenAI im Test nutzen. Welcher Weg bietet die größte Kontrolle über Datenschutz und Sicherheit?
  6. Der Anbieter des genutzten LLM spielt eine neue Modellversion ein, und die erzeugten Testfälle ändern sich spürbar. Zu welchem Aufgabenbereich gehört der Umgang damit vor allem?
  7. Ein Unternehmen nutzt einen KI-Chatbot für Ideen zu Testbedingungen und entwickelt zugleich ein eigenes Werkzeug mit RAG für die Testfallerstellung. Wie ist das zu bewerten?

Zertifikate & Prüfungen

Welche Prüfung kommt als Nächstes?

51 Prüfungen kannst du schon üben, über 16 stimmst du gerade ab. Sieh dir alle Zertifikate mit offiziellen Infos an, gib deine Stimme ab oder schlag deine Prüfung vor.

Zur Zertifikatsübersicht