ISTQB CT-GenAI
Generative KI in der Testorganisation einführen
Einfach
Schatten-KI und Strategie
- Was versteht man unter Schatten-KI in einer Testorganisation?
- Ein Tester kopiert Fehlerberichte eines Reiseportals in seinen privaten KI-Chat. Welches Risiko steht im Vordergrund?
- Welche Folge kann es haben, wenn ein Testteam nicht genehmigte KI-Werkzeuge einsetzt?
- Warum sind unklare Lizenzbedingungen eines KI-Werkzeugs ein Problem?
- Was hilft einer Testorganisation am ehesten, Schatten-KI zu vermeiden?
- Womit beginnt eine GenAI-Strategie für das Testen sinnvollerweise?
- Warum ist die Qualität der Eingabedaten für eine GenAI-Strategie so wichtig?
Modellauswahl und Einführungsphasen
- Welches Kriterium ist bei der Auswahl eines Sprachmodells für Testaufgaben zentral?
- Warum reichen allgemeine Benchmarks bei der Modellauswahl für Testaufgaben oft nicht aus?
- Welche laufenden Kosten sind bei der Wahl eines Sprachmodells zu beachten?
- Warum spielen Nutzergemeinschaft und Unterstützung bei der Modellwahl eine Rolle?
- Welche drei Phasen durchläuft die Einführung von GenAI in einer Testorganisation?
- Was geschieht typischerweise in der ersten Phase der Einführung?
Kompetenzen und neue Rollen
- Welche Fähigkeit brauchen Tester besonders für die Arbeit mit GenAI?
- Warum bleibt Fach- und Testwissen beim Einsatz von GenAI wichtig?
- Was bedeutet es, Daten zu bereinigen, bevor Testmittel an ein LLM gehen?
- Wie lassen sich KI-Fähigkeiten in einem Testteam am besten aufbauen?
- Was ist ein Prompt-Muster?
- Wie verändert sich die Rolle von Testern durch GenAI?
- Wozu dienen interne Praxisgemeinschaften beim Einsatz von GenAI im Test?
Mittel
Schatten-KI und Strategie
- Ein Entwickler lädt Quelltext eines Kunden in einen KI-Dienst, dessen Bedingungen offenlassen, wem die Ergebnisse gehören. Welches Risiko wird hier besonders deutlich?
- Welche Aufzählung fasst die Risiken von Schatten-KI zutreffend zusammen?
- Was gehört in Prozessrichtlinien für den Einsatz von GenAI im Test?
- Eine Bank verlangt, in jedem Testfall zu vermerken, ob er mit GenAI entstanden ist. Wozu dient das vor allem?
- Ein Versicherer lässt erzeugte Testskripte vor der Übernahme an einem Qualitätstor begutachten. Zu welchem Teil der Strategie gehört das?
- Warum gehören Metriken in eine GenAI-Strategie für das Testen?
- Ein Team wählt ein Modell mit glänzenden Benchmark-Werten, das sich aber nicht an das vorhandene Testmanagementwerkzeug anbinden lässt. Was wurde vernachlässigt?
Modellauswahl und Einführungsphasen
- Ein Hersteller von Medizingeräten prüft, ob sich ein Modell mit eigenen Fachdaten nachtrainieren lässt. Welches Auswahlkriterium betrachtet er?
- Wovon hängen die laufenden Kosten einer Testaufgabe mit GenAI vor allem ab?
- Ein Team lässt täglich 50 Fehlerberichte zusammenfassen: je 2.000 Eingabe- und 500 Ausgabe-Tokens. Preis: 1 € je Million Eingabe-, 4 € je Million Ausgabe-Tokens. Was kostet das pro Tag?
- Ein Team vergleicht ein kommerzielles Modell mit Preisen je Token mit einem quelloffenen Modell im eigenen Rechenzentrum. Was gehört zu einem fairen Vergleich?
- Ein Team kennt die Grundlagen und wählt nun aus, wo GenAI im Test den größten Nutzen bringt. In welcher Phase befindet es sich?
- Bei einem Online-Händler wird GenAI für Testdaten schon routiniert genutzt, für Lasttests aber erst ausprobiert. Wie ist das zu bewerten?
Kompetenzen und neue Rollen
- Warum sollten Tester das Kontextfenster eines Modells kennen?
- Wie können Tester den Energieverbrauch beim Einsatz von GenAI senken?
- Ein Tester möchte einen Fehlerbericht mit Kundendaten eines Stromanbieters von einem LLM auswerten lassen. Wie geht er vor?
- Ein Testteam beherrscht einfache Prompts sicher. Was ist der nächste sinnvolle Lernschritt?
- Was fördert in Praxisgemeinschaften die laufende Verbesserung im Umgang mit GenAI?
- Welche Aufgabe kommt für Testmanager durch GenAI hinzu?
- Bei der Einführung von GenAI äußern Tester die Sorge, ersetzt zu werden. Wie sollte die Organisation reagieren?
Schwer
Schatten-KI und Strategie
- Welche Aussage über Schatten-KI trifft NICHT zu?
- Ein Logistikunternehmen will „irgendwie KI im Test nutzen“ und hat schon ein Modell bestellt. Was fehlt am deutlichsten?
- Ein Team nutzt für Testfallvorschläge eine Anforderungssammlung, die seit zwei Jahren nicht gepflegt wurde. Welcher Aspekt der Strategie ist vor allem betroffen?
- Warum sollen Schulungen für GenAI im Test neben technischen auch ethische Fähigkeiten vermitteln?
- Welche Zusammenstellung beschreibt eine GenAI-Strategie für das Testen am vollständigsten?
- Eine Umfrage zeigt: Viele Tester nutzen heimlich private KI-Chats, weil es keine freigegebenen Werkzeuge gibt. Welche Maßnahme passt am besten?
- Welche Regel gehört NICHT in sinnvolle Richtlinien für den GenAI-Einsatz im Test?
Modellauswahl und Einführungsphasen
- Ein Team erzeugt monatlich 400 Testfallentwürfe: je 3.000 Eingabe- und 1.000 Ausgabe-Tokens. Preis: 2 € je Million Eingabe-, 8 € je Million Ausgabe-Tokens. Wie hoch sind die Monatskosten?
- Ein Team hängt an jeden Prompt das ganze 80-seitige Fachkonzept, obwohl nur zwei Seiten nötig sind. Was folgt daraus für die Kosten?
- Eine Behörde darf Testdaten nicht an externe Anbieter geben und hat ein knappes Budget. Welche Wahl passt am ehesten?
- Woran erkennt man, dass eine Organisation die dritte Phase der Einführung erreicht hat?
- Muss sich eine Testorganisation für genau ein Sprachmodell entscheiden?
- Welche Tätigkeit gehört typischerweise zur zweiten Phase der Einführung?
Kompetenzen und neue Rollen
- Was kommt auf Testmanager in Teams zu, in denen Menschen und GenAI-Agenten zusammenarbeiten?
- Ein Testmanager lässt sein Team nur noch KI-Ergebnisse abnicken; klassische Testverfahren werden nicht mehr geübt. Was ist daran problematisch?
- Welche Aufgabe gehört NICHT zu den neuen Aufgaben von Testmanagern beim GenAI-Einsatz?
- Ein KI-erfahrener Entwickler ohne Testwissen beurteilt erzeugte Grenzwerttests für einen Kreditrechner. Wo liegt das größte Risiko?
- Welche Reihenfolge entspricht dem schrittweisen Aufbau von KI-Fähigkeiten im Testteam?
- Ein Team lässt bei jedem Commit 300 Regressionstests von einem großen Modell neu formulieren, obwohl sich kaum Tests ändern. Was spricht dagegen?
- Ein Tester pflegt eine Sammlung bewährter Prompts für Grenzwertanalysen. Welche neue Aufgabe übernimmt er damit?