ISTQB CT-GenAI

Grundlagen generativer KI im Test

60 Fragen

Einfach

Grundlagen generativer KI

  1. Welche Art von KI bildet Wissen über Symbole und ausdrücklich formulierte logische Regeln ab?
  2. Bei welcher Art von KI wählen Menschen vor dem Training die Merkmale (Features) aus, mit denen das Modell lernt?
  3. Worauf beruht Deep Learning?
  4. Was unterscheidet generative KI von den anderen Arten der KI?
  5. Was ist der wichtigste Vorteil generativer KI für Testaufgaben gegenüber klassischem maschinellem Lernen?
  6. Was ist ein Token in einem Sprachmodell?
  7. Was sind Embeddings?
  8. Was bezeichnet das Kontextfenster eines LLM?
  9. Was ist ein Small Language Model (SLM)?
  10. Auf welcher Architektur neuronaler Netze beruhen heutige LLMs?
  11. Was berechnet ein LLM bei der Inferenz Schritt für Schritt?
  12. Warum kann derselbe Prompt beim zweiten Absenden eine andere Antwort liefern?
  13. Was ist ein Foundation-LLM?
  14. Womit wird ein instruktionsgetuntes LLM nachtrainiert?
  15. Wofür sind Reasoning-LLMs besonders ausgelegt?
  16. Was kann ein multimodales LLM, das ein reines Text-LLM nicht kann?
  17. Was verbinden Vision-Language-Modelle?

Generative KI im Softwaretest

  1. Auf welchen zwei Wegen können Testende generative KI nutzen?
  2. Bei welcher Testaufgabe hilft ein LLM, wenn es zu Testfällen die erwarteten Ergebnisse vorschlägt?
  3. Was macht KI-Chatbots für Testende besonders zugänglich?

Mittel

Grundlagen generativer KI

  1. Ein Team trainiert ein Modell mit 40.000 historischen, von Hand klassifizierten Fehlerberichten und vorab gewählten Merkmalen wie Modul und Schweregrad. Welche Art von KI ist das?
  2. Welche Tätigkeiten bleiben auch beim Deep Learning häufig Aufgabe von Menschen?
  3. Was gilt für die Embeddings zweier Tokens mit ähnlicher Bedeutung, etwa „Absturz“ und „Abbruch“?
  4. Welche Folgen hat ein größeres Kontextfenster?
  5. Ein LLM schlägt für einen Testfall einen erwarteten Wert vor, der fachlich sehr überzeugend klingt. Welche Einschätzung ist richtig?
  6. Eine Testerin möchte eine 300-seitige Systemspezifikation an ein LLM übergeben. Was sollte sie zuerst klären?
  7. Welche Aussagen über Tokens treffen zu?
  8. Wie verarbeitet ein multimodales LLM ein Bild, bevor der Transformer damit arbeitet?
  9. Welche Aufgaben sind typisch für Vision-Language-Modelle?
  10. Ein Tester gibt einem multimodalen LLM einen Screenshot der Bestellseite und den Text eines Fehlerberichts. Welche Aufgabe passt dazu?
  11. Worauf wird ein Modell beim Instruction Tuning optimiert?
  12. In welcher Reihenfolge bauen die Trainingsstufen von LLMs aufeinander auf?
  13. Wie werden instruktionsgetunte LLMs zur Abgrenzung von Reasoning-LLMs manchmal genannt?

Generative KI im Softwaretest

  1. Wie kann ein LLM bei der Analyse von Anforderungen helfen?
  2. Wobei unterstützen LLMs die Erstellung von Testdaten?
  3. Wobei hilft ein LLM bei der Auswertung von Testergebnissen?
  4. Welche Aufgaben kann ein LLM in der Testautomatisierung übernehmen?
  5. Welche Merkmale kennzeichnen LLM-gestützte Testanwendungen im Vergleich zu Chatbots?
  6. Was versteht man bei der Arbeit mit einem Chatbot unter Prompt Chaining?
  7. Was entscheidet unabhängig vom Zugang über Chatbot oder Anwendung am stärksten über brauchbare LLM-Ergebnisse im Test?

Schwer

Grundlagen generativer KI

  1. Ein Prüfwerkzeug lehnt Commits ab, sobald eine von Fachleuten gepflegte Liste fester Bedingungen verletzt ist, etwa „keine Zugangsdaten im Klartext“. Welcher Art von KI entspricht dieser Ansatz am ehesten?
  2. Ein Tester schickt zweimal denselben Prompt und erhält zwei unterschiedliche Sätze von Testfällen. Welche Schlüsse sind richtig?
  3. Bei der Analyse eines sehr langen Protokolls berücksichtigt ein LLM die frühen Einträge nicht mehr und widerspricht ihnen. Was ist die wahrscheinlichste Ursache?
  4. Ein Testprotokoll ist für das Kontextfenster zu lang. Welche Maßnahmen helfen?
  5. Ein Team will 500 Testfalltitel nach einer festen Schreibweise vereinheitlichen. Welche Modellwahl ist am sinnvollsten?
  6. Aus einem Zustandsmodell einer Zahlungsabwicklung mit vielen Bedingungen sollen Testfälle für gültige und ungültige Übergangsfolgen entstehen. Welche Modellart passt am besten?
  7. Ein Team nutzt ein reines Foundation-LLM ohne Nachtraining, um Testfälle nach Vorlage zu schreiben. Statt die Anweisung auszuführen, setzt das Modell den Prompt oft nur fort. Was erklärt das?
  8. Eine Testerin gibt einem multimodalen LLM ein Wireframe der Registrierungsseite und die zugehörige User Story. Welche Ergebnisse kann sie sinnvoll erwarten?
  9. Ein multimodales LLM meldet nach dem Vergleich von 40 Screenshots mit den Akzeptanzkriterien drei Abweichungen. Welche Aussagen treffen zu?
  10. Eine Suche findet zu „App schließt sich bei der Anmeldung“ auch den älteren Fehlerbericht „Absturz beim Login“, obwohl kein Wort übereinstimmt. Was macht das möglich?
  11. Ein Team vergleicht die Tokenzahl gleich langer Testberichte auf Deutsch und Englisch. Welche Aussagen treffen zu?
  12. Welche Aussagen zum Einsatz generativer KI im Test im Vergleich zu klassischem maschinellem Lernen treffen zu?
  13. Welche Abwägungen gelten beim Einsatz eines Reasoning-LLM statt eines instruktionsgetunten Modells?
  14. Ein Unternehmen will auf eigenen Testrechnern ohne Cloud ein Modell betreiben, das nur Fehlermeldungen in eine einheitliche Form bringt. Welche Modellart liegt nahe?

Generative KI im Softwaretest

  1. Jede Nacht sollen in der CI-Pipeline aus neuen User Stories automatisch Testfallentwürfe entstehen. Welcher Zugang passt?
  2. Für welche Aufgaben eignet sich ein KI-Chatbot besser als eine fest integrierte LLM-Anwendung?
  3. Für eine Versandkostenregel schlägt ein LLM als erwartetes Ergebnis „kostenlos ab 40 €“ vor, die Anforderung nennt 50 €. Wie geht der Tester richtig vor?
  4. Ein Akzeptanzkriterium lautet „Die Suche liefert Ergebnisse schnell“. Wie kann ein LLM sinnvoll helfen?
  5. Ein LLM soll für das Feld „Alter“ (gültig von 18 bis 65) Grenzwerte nach der Zwei-Wert-Grenzwertanalyse vorschlagen. Welche Werte gehören in eine korrekte Antwort?
  6. Nach einem Nachtlauf sind 300 automatisierte Tests fehlgeschlagen. Wie kann ein LLM das Team sinnvoll unterstützen?

Zertifikate & Prüfungen

Welche Prüfung kommt als Nächstes?

51 Prüfungen kannst du schon üben, über 16 stimmst du gerade ab. Sieh dir alle Zertifikate mit offiziellen Infos an, gib deine Stimme ab oder schlag deine Prüfung vor.

Zur Zertifikatsübersicht