ISTQB CT-GenAI

Generative KI in der Testorganisation einführen

60 Fragen

Einfach

Schatten-KI und Strategie

  1. Was versteht man unter Schatten-KI in einer Testorganisation?
  2. Ein Tester kopiert Fehlerberichte eines Reiseportals in seinen privaten KI-Chat. Welches Risiko steht im Vordergrund?
  3. Welche Folge kann es haben, wenn ein Testteam nicht genehmigte KI-Werkzeuge einsetzt?
  4. Warum sind unklare Lizenzbedingungen eines KI-Werkzeugs ein Problem?
  5. Was hilft einer Testorganisation am ehesten, Schatten-KI zu vermeiden?
  6. Womit beginnt eine GenAI-Strategie für das Testen sinnvollerweise?
  7. Warum ist die Qualität der Eingabedaten für eine GenAI-Strategie so wichtig?

Modellauswahl und Einführungsphasen

  1. Welches Kriterium ist bei der Auswahl eines Sprachmodells für Testaufgaben zentral?
  2. Warum reichen allgemeine Benchmarks bei der Modellauswahl für Testaufgaben oft nicht aus?
  3. Welche laufenden Kosten sind bei der Wahl eines Sprachmodells zu beachten?
  4. Warum spielen Nutzergemeinschaft und Unterstützung bei der Modellwahl eine Rolle?
  5. Welche drei Phasen durchläuft die Einführung von GenAI in einer Testorganisation?
  6. Was geschieht typischerweise in der ersten Phase der Einführung?

Kompetenzen und neue Rollen

  1. Welche Fähigkeit brauchen Tester besonders für die Arbeit mit GenAI?
  2. Warum bleibt Fach- und Testwissen beim Einsatz von GenAI wichtig?
  3. Was bedeutet es, Daten zu bereinigen, bevor Testmittel an ein LLM gehen?
  4. Wie lassen sich KI-Fähigkeiten in einem Testteam am besten aufbauen?
  5. Was ist ein Prompt-Muster?
  6. Wie verändert sich die Rolle von Testern durch GenAI?
  7. Wozu dienen interne Praxisgemeinschaften beim Einsatz von GenAI im Test?

Mittel

Schatten-KI und Strategie

  1. Ein Entwickler lädt Quelltext eines Kunden in einen KI-Dienst, dessen Bedingungen offenlassen, wem die Ergebnisse gehören. Welches Risiko wird hier besonders deutlich?
  2. Welche Aufzählung fasst die Risiken von Schatten-KI zutreffend zusammen?
  3. Was gehört in Prozessrichtlinien für den Einsatz von GenAI im Test?
  4. Eine Bank verlangt, in jedem Testfall zu vermerken, ob er mit GenAI entstanden ist. Wozu dient das vor allem?
  5. Ein Versicherer lässt erzeugte Testskripte vor der Übernahme an einem Qualitätstor begutachten. Zu welchem Teil der Strategie gehört das?
  6. Warum gehören Metriken in eine GenAI-Strategie für das Testen?
  7. Ein Team wählt ein Modell mit glänzenden Benchmark-Werten, das sich aber nicht an das vorhandene Testmanagementwerkzeug anbinden lässt. Was wurde vernachlässigt?

Modellauswahl und Einführungsphasen

  1. Ein Hersteller von Medizingeräten prüft, ob sich ein Modell mit eigenen Fachdaten nachtrainieren lässt. Welches Auswahlkriterium betrachtet er?
  2. Wovon hängen die laufenden Kosten einer Testaufgabe mit GenAI vor allem ab?
  3. Ein Team lässt täglich 50 Fehlerberichte zusammenfassen: je 2.000 Eingabe- und 500 Ausgabe-Tokens. Preis: 1 € je Million Eingabe-, 4 € je Million Ausgabe-Tokens. Was kostet das pro Tag?
  4. Ein Team vergleicht ein kommerzielles Modell mit Preisen je Token mit einem quelloffenen Modell im eigenen Rechenzentrum. Was gehört zu einem fairen Vergleich?
  5. Ein Team kennt die Grundlagen und wählt nun aus, wo GenAI im Test den größten Nutzen bringt. In welcher Phase befindet es sich?
  6. Bei einem Online-Händler wird GenAI für Testdaten schon routiniert genutzt, für Lasttests aber erst ausprobiert. Wie ist das zu bewerten?

Kompetenzen und neue Rollen

  1. Warum sollten Tester das Kontextfenster eines Modells kennen?
  2. Wie können Tester den Energieverbrauch beim Einsatz von GenAI senken?
  3. Ein Tester möchte einen Fehlerbericht mit Kundendaten eines Stromanbieters von einem LLM auswerten lassen. Wie geht er vor?
  4. Ein Testteam beherrscht einfache Prompts sicher. Was ist der nächste sinnvolle Lernschritt?
  5. Was fördert in Praxisgemeinschaften die laufende Verbesserung im Umgang mit GenAI?
  6. Welche Aufgabe kommt für Testmanager durch GenAI hinzu?
  7. Bei der Einführung von GenAI äußern Tester die Sorge, ersetzt zu werden. Wie sollte die Organisation reagieren?

Schwer

Schatten-KI und Strategie

  1. Welche Aussage über Schatten-KI trifft NICHT zu?
  2. Ein Logistikunternehmen will „irgendwie KI im Test nutzen“ und hat schon ein Modell bestellt. Was fehlt am deutlichsten?
  3. Ein Team nutzt für Testfallvorschläge eine Anforderungssammlung, die seit zwei Jahren nicht gepflegt wurde. Welcher Aspekt der Strategie ist vor allem betroffen?
  4. Warum sollen Schulungen für GenAI im Test neben technischen auch ethische Fähigkeiten vermitteln?
  5. Welche Zusammenstellung beschreibt eine GenAI-Strategie für das Testen am vollständigsten?
  6. Eine Umfrage zeigt: Viele Tester nutzen heimlich private KI-Chats, weil es keine freigegebenen Werkzeuge gibt. Welche Maßnahme passt am besten?
  7. Welche Regel gehört NICHT in sinnvolle Richtlinien für den GenAI-Einsatz im Test?

Modellauswahl und Einführungsphasen

  1. Ein Team erzeugt monatlich 400 Testfallentwürfe: je 3.000 Eingabe- und 1.000 Ausgabe-Tokens. Preis: 2 € je Million Eingabe-, 8 € je Million Ausgabe-Tokens. Wie hoch sind die Monatskosten?
  2. Ein Team hängt an jeden Prompt das ganze 80-seitige Fachkonzept, obwohl nur zwei Seiten nötig sind. Was folgt daraus für die Kosten?
  3. Eine Behörde darf Testdaten nicht an externe Anbieter geben und hat ein knappes Budget. Welche Wahl passt am ehesten?
  4. Woran erkennt man, dass eine Organisation die dritte Phase der Einführung erreicht hat?
  5. Muss sich eine Testorganisation für genau ein Sprachmodell entscheiden?
  6. Welche Tätigkeit gehört typischerweise zur zweiten Phase der Einführung?

Kompetenzen und neue Rollen

  1. Was kommt auf Testmanager in Teams zu, in denen Menschen und GenAI-Agenten zusammenarbeiten?
  2. Ein Testmanager lässt sein Team nur noch KI-Ergebnisse abnicken; klassische Testverfahren werden nicht mehr geübt. Was ist daran problematisch?
  3. Welche Aufgabe gehört NICHT zu den neuen Aufgaben von Testmanagern beim GenAI-Einsatz?
  4. Ein KI-erfahrener Entwickler ohne Testwissen beurteilt erzeugte Grenzwerttests für einen Kreditrechner. Wo liegt das größte Risiko?
  5. Welche Reihenfolge entspricht dem schrittweisen Aufbau von KI-Fähigkeiten im Testteam?
  6. Ein Team lässt bei jedem Commit 300 Regressionstests von einem großen Modell neu formulieren, obwohl sich kaum Tests ändern. Was spricht dagegen?
  7. Ein Tester pflegt eine Sammlung bewährter Prompts für Grenzwertanalysen. Welche neue Aufgabe übernimmt er damit?

Zertifikate & Prüfungen

Welche Prüfung kommt als Nächstes?

51 Prüfungen kannst du schon üben, über 16 stimmst du gerade ab. Sieh dir alle Zertifikate mit offiziellen Infos an, gib deine Stimme ab oder schlag deine Prüfung vor.

Zur Zertifikatsübersicht