ISTQB CT-AI
Maschinelles Lernen und Daten
Einführung in maschinelles Lernen
- In welche drei Formen lassen sich ML-Algorithmen einteilen? Einfach
- Ein Modell soll E-Mails als Spam oder Nicht-Spam einordnen. Um welche Art von Problem handelt es sich? Einfach
- Ein Modell soll das Alter einer Person aus Lebensstildaten schätzen. Um welche Art von Problem handelt es sich? Einfach
- Wie unterscheidet sich der Begriff „Regression“ im ML-Kontext von seiner Bedeutung im klassischen Softwaretest? Einfach
- Was erhält ein intelligenter Agent beim bestärkenden Lernen als Rückmeldung auf seine Aktionen? Einfach
- Was geschieht in der ersten Aktivität des ML-Workflows „Ziele verstehen“? Einfach
- Welche Parameter heißen Modell-Hyperparameter? Einfach
- Mit welchem Datensatz wird das Modell in der Aktivität „Modell evaluieren“ bewertet? Einfach
- Welche drei Aktivitäten bilden zusammen die „Modellerzeugung“? Einfach
- Wie wird der ML-Workflow in der Praxis angewendet? Einfach
- Was versteht man unter Fine-Tuning? Einfach
- Wofür steht die Abkürzung RAG? Einfach
- Was geschieht bei RAG mit dem vortrainierten Modell? Einfach
Daten für maschinelles Lernen
- Wie aufwendig ist die Datenvorbereitung im ML-Workflow im Vergleich zu anderen Schritten? Einfach
- Welche drei Hauptaktivitäten umfasst die Datenvorbereitung? Einfach
- Mit welchen Verfahren werden fehlende Werte bei der Datenbereinigung typischerweise ergänzt (Imputation)? Einfach
- Was ist das Ziel der explorativen Datenanalyse (EDA)? Einfach
- Wofür wird der Validierungsdatensatz verwendet? Einfach
- Wie wird der Testdatensatz auch genannt? Einfach
- Welche Werte für k sind bei der k-fachen Kreuzvalidierung üblich? Einfach
Einführung in maschinelles Lernen
- Ein Onlinehändler will aus Kaufdaten ableiten, welche Produkte häufig zusammen gekauft werden, um Empfehlungen zu geben. Welche Form des ML passt? Mittel
- Welche Herausforderungen bringt bestärkendes Lernen mit sich? Mittel
- Wovon hängt die Wahl der ML-Form (überwacht, unüberwacht, bestärkend) ab? Mittel
- Welche Parameter heißen Algorithmus-Hyperparameter? Mittel
- Was umfasst die Aktivität „Daten vorbereiten und testen“ im ML-Workflow? Mittel
- Wie wird in der Praxis meist das beste Modell gefunden? Mittel
- Was ist zu tun, wenn das Modell mit dem unabhängigen Testdatensatz deutlich schlechter abschneidet als bei der Evaluierung? Mittel
- Wer führt das Testen des Modells im ML-Workflow typischerweise durch? Mittel
- Was geschieht in der Aktivität „Modell bereitstellen“? Mittel
- Was sieht die Aktivität „Modell überwachen und tunen“ vor? Mittel
- Was ist im dargestellten ML-Workflow nicht enthalten, muss aber meist zusätzlich erfolgen? Mittel
- Auf welche Teile eines neuronalen Netzes kann Fine-Tuning angewendet werden? Mittel
- Wovon hängt der Erfolg von Fine-Tuning vor allem ab? Mittel
- Was geschieht mit Verzerrungen (Bias) und Schwachstellen eines vortrainierten Modells, wenn es für eine neue Aufgabe angepasst wird? Mittel
- Wie läuft RAG ab? Mittel
Daten für maschinelles Lernen
- Welche Tätigkeiten gehören zur Datenbeschaffung? Mittel
- Welche Tätigkeiten gehören zur Datenvorverarbeitung? Mittel
- Warum sollen die Betriebsdaten zu den Merkmalen der Trainingsdaten passen? Mittel
- Von welchen Faktoren hängt die Menge der Daten für Training, Evaluierung und Test ab, wenn genügend Daten vorhanden sind? Mittel
- Wie läuft die k-fache Kreuzvalidierung ab? Mittel
Einführung in maschinelles Lernen
- Welche Zuordnungen von Aufgabe und ML-Form treffen zu? Schwer
- Ein Tester liest in einem ML-Projektbericht: „Regression abgeschlossen, Fehler 3,2 Jahre“. Wie ist das am ehesten zu verstehen? Schwer
- Ein Team hat drei Modelle mit Random Forest, SVM und neuronalem Netz trainiert und das beste anhand der Validierungsdaten gewählt. Welcher Schritt fehlt vor der Bereitstellung? Schwer
- Nach dem Tuning erreicht ein Modell auf den Validierungsdaten 94 % Accuracy, auf dem unabhängigen Testdatensatz nur 78 %. Welche Schlüsse sind angemessen? Schwer
- Welche Beispiele gehören zu den Modell-Hyperparametern und welche zu den Algorithmus-Hyperparametern? Schwer
- Ein Bildverarbeitungsmodell soll in eine Fahrzeugsoftware eingebaut werden. Welche Aussagen zur Integration treffen zu? Schwer
- Ein Modell läuft seit Monaten produktiv; die Präzision fällt schleichend unter das Abnahmekriterium. Wie sollte es weitergehen? Schwer
- Ein Modell wurde erfolgreich getestet und wird nun für ein eingebettetes System umgebaut. Was ist danach nötig? Schwer
- Ein Klassifikator für Apfelsorten soll per Fine-Tuning angepasst werden. Welche Zielaufgaben dürften gut, welche weniger gut gelingen? Schwer
- Ein Unternehmen will, dass ein LLM Fragen zu internen Handbüchern beantwortet, ohne das Modell selbst zu verändern. Was empfiehlt sich, und was ist zu beachten? Schwer
- Welche Aussagen zum Verhältnis von Fine-Tuning und RAG treffen zu? Schwer
Daten für maschinelles Lernen
- Ein Modell zur Betrugserkennung wurde mit Daten aus Europa trainiert und wird nun in Asien mit deutlich anderen Transaktionsmustern eingesetzt. Welche Folge hat das? Schwer
- Welche Tätigkeiten gehören zum Feature Engineering? Schwer
- Welche Aussagen zum Ablauf der Datenvorbereitung treffen zu? Schwer
- Ein Team ergänzt die Trainingsdaten eines Bildklassifikators gezielt um gegnerische (adversarial) Beispiele. Wie ist das einzuordnen? Schwer
- Ein Team hat nur wenige hundert Datensätze. Welche Schritte sind für solche Fälle üblich? Schwer
- Die Daten sind so knapp, dass kein Holdout-Testsatz möglich ist; es wird nur der Mittelwert der Kreuzvalidierung berichtet. Wie ist dieser Wert zu bewerten? Schwer
- Ein Datensatz ist stark unausgewogen (wenige Betrugsfälle). Wie sollten die Folds bei der k-fachen Kreuzvalidierung gebildet werden? Schwer
- Welche weiteren Resampling-Verfahren für knappe Daten gibt es neben der k-fachen Kreuzvalidierung? Schwer
- Warum müssen Trainings-, Validierungs- und Testdatensatz gleichwertig sein? Schwer