ISTQB CT-GenAI
Grundlagen generativer KI im Test
Einfach
Grundlagen generativer KI
- Welche Art von KI bildet Wissen über Symbole und ausdrücklich formulierte logische Regeln ab?
- Bei welcher Art von KI wählen Menschen vor dem Training die Merkmale (Features) aus, mit denen das Modell lernt?
- Worauf beruht Deep Learning?
- Was unterscheidet generative KI von den anderen Arten der KI?
- Was ist der wichtigste Vorteil generativer KI für Testaufgaben gegenüber klassischem maschinellem Lernen?
- Was ist ein Token in einem Sprachmodell?
- Was sind Embeddings?
- Was bezeichnet das Kontextfenster eines LLM?
- Was ist ein Small Language Model (SLM)?
- Auf welcher Architektur neuronaler Netze beruhen heutige LLMs?
- Was berechnet ein LLM bei der Inferenz Schritt für Schritt?
- Warum kann derselbe Prompt beim zweiten Absenden eine andere Antwort liefern?
- Was ist ein Foundation-LLM?
- Womit wird ein instruktionsgetuntes LLM nachtrainiert?
- Wofür sind Reasoning-LLMs besonders ausgelegt?
- Was kann ein multimodales LLM, das ein reines Text-LLM nicht kann?
- Was verbinden Vision-Language-Modelle?
Generative KI im Softwaretest
Mittel
Grundlagen generativer KI
- Ein Team trainiert ein Modell mit 40.000 historischen, von Hand klassifizierten Fehlerberichten und vorab gewählten Merkmalen wie Modul und Schweregrad. Welche Art von KI ist das?
- Welche Tätigkeiten bleiben auch beim Deep Learning häufig Aufgabe von Menschen?
- Was gilt für die Embeddings zweier Tokens mit ähnlicher Bedeutung, etwa „Absturz“ und „Abbruch“?
- Welche Folgen hat ein größeres Kontextfenster?
- Ein LLM schlägt für einen Testfall einen erwarteten Wert vor, der fachlich sehr überzeugend klingt. Welche Einschätzung ist richtig?
- Eine Testerin möchte eine 300-seitige Systemspezifikation an ein LLM übergeben. Was sollte sie zuerst klären?
- Welche Aussagen über Tokens treffen zu?
- Wie verarbeitet ein multimodales LLM ein Bild, bevor der Transformer damit arbeitet?
- Welche Aufgaben sind typisch für Vision-Language-Modelle?
- Ein Tester gibt einem multimodalen LLM einen Screenshot der Bestellseite und den Text eines Fehlerberichts. Welche Aufgabe passt dazu?
- Worauf wird ein Modell beim Instruction Tuning optimiert?
- In welcher Reihenfolge bauen die Trainingsstufen von LLMs aufeinander auf?
- Wie werden instruktionsgetunte LLMs zur Abgrenzung von Reasoning-LLMs manchmal genannt?
Generative KI im Softwaretest
- Wie kann ein LLM bei der Analyse von Anforderungen helfen?
- Wobei unterstützen LLMs die Erstellung von Testdaten?
- Wobei hilft ein LLM bei der Auswertung von Testergebnissen?
- Welche Aufgaben kann ein LLM in der Testautomatisierung übernehmen?
- Welche Merkmale kennzeichnen LLM-gestützte Testanwendungen im Vergleich zu Chatbots?
- Was versteht man bei der Arbeit mit einem Chatbot unter Prompt Chaining?
- Was entscheidet unabhängig vom Zugang über Chatbot oder Anwendung am stärksten über brauchbare LLM-Ergebnisse im Test?
Schwer
Grundlagen generativer KI
- Ein Prüfwerkzeug lehnt Commits ab, sobald eine von Fachleuten gepflegte Liste fester Bedingungen verletzt ist, etwa „keine Zugangsdaten im Klartext“. Welcher Art von KI entspricht dieser Ansatz am ehesten?
- Ein Tester schickt zweimal denselben Prompt und erhält zwei unterschiedliche Sätze von Testfällen. Welche Schlüsse sind richtig?
- Bei der Analyse eines sehr langen Protokolls berücksichtigt ein LLM die frühen Einträge nicht mehr und widerspricht ihnen. Was ist die wahrscheinlichste Ursache?
- Ein Testprotokoll ist für das Kontextfenster zu lang. Welche Maßnahmen helfen?
- Ein Team will 500 Testfalltitel nach einer festen Schreibweise vereinheitlichen. Welche Modellwahl ist am sinnvollsten?
- Aus einem Zustandsmodell einer Zahlungsabwicklung mit vielen Bedingungen sollen Testfälle für gültige und ungültige Übergangsfolgen entstehen. Welche Modellart passt am besten?
- Ein Team nutzt ein reines Foundation-LLM ohne Nachtraining, um Testfälle nach Vorlage zu schreiben. Statt die Anweisung auszuführen, setzt das Modell den Prompt oft nur fort. Was erklärt das?
- Eine Testerin gibt einem multimodalen LLM ein Wireframe der Registrierungsseite und die zugehörige User Story. Welche Ergebnisse kann sie sinnvoll erwarten?
- Ein multimodales LLM meldet nach dem Vergleich von 40 Screenshots mit den Akzeptanzkriterien drei Abweichungen. Welche Aussagen treffen zu?
- Eine Suche findet zu „App schließt sich bei der Anmeldung“ auch den älteren Fehlerbericht „Absturz beim Login“, obwohl kein Wort übereinstimmt. Was macht das möglich?
- Ein Team vergleicht die Tokenzahl gleich langer Testberichte auf Deutsch und Englisch. Welche Aussagen treffen zu?
- Welche Aussagen zum Einsatz generativer KI im Test im Vergleich zu klassischem maschinellem Lernen treffen zu?
- Welche Abwägungen gelten beim Einsatz eines Reasoning-LLM statt eines instruktionsgetunten Modells?
- Ein Unternehmen will auf eigenen Testrechnern ohne Cloud ein Modell betreiben, das nur Fehlermeldungen in eine einheitliche Form bringt. Welche Modellart liegt nahe?
Generative KI im Softwaretest
- Jede Nacht sollen in der CI-Pipeline aus neuen User Stories automatisch Testfallentwürfe entstehen. Welcher Zugang passt?
- Für welche Aufgaben eignet sich ein KI-Chatbot besser als eine fest integrierte LLM-Anwendung?
- Für eine Versandkostenregel schlägt ein LLM als erwartetes Ergebnis „kostenlos ab 40 €“ vor, die Anforderung nennt 50 €. Wie geht der Tester richtig vor?
- Ein Akzeptanzkriterium lautet „Die Suche liefert Ergebnisse schnell“. Wie kann ein LLM sinnvoll helfen?
- Ein LLM soll für das Feld „Alter“ (gültig von 18 bis 65) Grenzwerte nach der Zwei-Wert-Grenzwertanalyse vorschlagen. Welche Werte gehören in eine korrekte Antwort?
- Nach einem Nachtlauf sind 300 automatisierte Tests fehlgeschlagen. Wie kann ein LLM das Team sinnvoll unterstützen?