ISTQB CT-AI
Qualitätsmerkmale und Abnahmekriterien
Qualitätsmerkmale nach ISO/IEC 25059
- Welche Norm erweitert das Qualitätsmodell der ISO/IEC 25010 um KI-spezifische Aspekte? Einfach
- Aus welchen beiden Perspektiven bewertet ISO/IEC 25059 KI-basierte Systeme? Einfach
- Warum wurde das Merkmal der funktionalen Korrektheit für KI-basierte Systeme angepasst? Einfach
- Was beschreibt das Qualitätsmerkmal funktionale Anpassungsfähigkeit (functional adaptability)? Einfach
- Welches Qualitätsmerkmal beschreibt, dass ein Mensch oder ein anderes System rechtzeitig in den Ablauf eines KI-Systems eingreifen kann? Einfach
- Welcher Begriff steht in der ISO/IEC 25010 von 2023 an der Stelle der früheren Gebrauchstauglichkeit (usability)? Einfach
- Worauf bezieht sich das Qualitätsmerkmal Transparenz bei KI-basierten Systemen? Einfach
- Was beschreibt das Qualitätsmerkmal KI-Robustheit? Einfach
- Welches Qualitätsmerkmal beschreibt, wie gut ein Bediener rechtzeitig in ein KI-System eingreifen kann, um einen Schaden oder eine Gefahr abzuwenden? Einfach
- Zu welcher Perspektive gehört das Qualitätsmerkmal Minderung gesellschaftlicher und ethischer Risiken? Einfach
KI und funktionale Sicherheit
- Was kennzeichnet sicherheitsrelevante Systeme? Einfach
- Wodurch werden bei vielen KI-basierten Systemen die Anforderungen implizit vorgegeben? Einfach
- Welches Werkzeug ist ein Beispiel für Techniken erklärbarer KI? Einfach
- Wie stuft der EU AI Act KI-Systeme ein, die als Sicherheitskomponenten etwa in Luftfahrt, Medizinprodukten oder Fahrzeugen eingesetzt werden? Einfach
- Wie gehen ausgereifte internationale Normen zur funktionalen Sicherheit mit KI um? Einfach
Abnahmekriterien
- Welche Form haben Abnahmekriterien für KI-basierte Systeme oft? Einfach
- Zu welchem Qualitätsmerkmal passt das Abnahmekriterium „Accuracy von 95 % für ein Bilderkennungssystem“? Einfach
- Ein Abnahmekriterium lautet: „Verliert eine autonome Drohne das GPS-Signal und meldet einen Notfall, kann eine Aufsichtsperson binnen 0,5 Sekunden die Steuerung übernehmen.“ Welches Qualitätsmerkmal wird damit geprüft? Einfach
- Ein Abnahmekriterium verlangt, dass Dashboard und API die eindeutige Versionskennung des eingesetzten Vorhersagemodells und einen Link zu dessen Dokumentation liefern. Welches Qualitätsmerkmal ist betroffen? Einfach
- Ein Abnahmekriterium lautet: „Ein Chatbot muss eine interne Red-Teaming-Bewertung mit mindestens 95 % bestehen und Inhalte verweigern, die Gewalt, Selbstverletzung oder Hass fördern.“ Welches Qualitätsmerkmal wird geprüft? Einfach
Qualitätsmerkmale nach ISO/IEC 25059
- Welche Qualitätsmerkmale sind in der ISO/IEC 25059 gegenüber der ISO/IEC 25010 neu oder angepasst? Mittel
- Welchem übergeordneten Merkmal ist die funktionale Anpassungsfähigkeit als neues Untermerkmal zugeordnet? Mittel
- Welchem übergeordneten Merkmal ist die KI-Robustheit als neues Untermerkmal zugeordnet? Mittel
- Welchem übergeordneten Merkmal ist die Eingreifbarkeit (intervenability) als neues Untermerkmal zugeordnet? Mittel
- Welchen übergeordneten Merkmalen ist die Transparenz als neues Untermerkmal zugeordnet? Mittel
- Unter welchen Umständen soll ein robustes KI-System seine funktionale Korrektheit halten? Mittel
- Welche Bereiche umfasst das Merkmal Minderung gesellschaftlicher und ethischer Risiken unter anderem? Mittel
- Wie wirken sich die Qualitätsmerkmale der ISO/IEC 25059 auf das Testen aus? Mittel
KI und funktionale Sicherheit
- Welche zusätzlichen Herausforderungen bringt KI in sicherheitsrelevanten Systemen mit sich? Mittel
- Was kann im Zusammenhang mit Nichtdeterminismus unerwartetes Verhalten auch gründlich getesteter KI-Modelle verursachen? Mittel
- Warum untergräbt Selbstlernen den Sicherheitsnachweis eines Systems? Mittel
- Welches ist ein Beispiel für einen Schutzmechanismus (Safety Guard) bei selbstlernenden Systemen? Mittel
- Welche Einschränkungen haben Techniken erklärbarer KI wie LIME? Mittel
Abnahmekriterien
- Ein Abnahmekriterium lautet: „Eine Streaming-Plattform passt ihre Startseite so an, dass mindestens 40 % Dokumentationen empfohlen werden, nachdem ein Nutzer drei Dokumentationen vollständig angesehen hat.“ Welches Merkmal wird geprüft? Mittel
- Ein Abnahmekriterium lautet: „Überhitzt die KI-Kamera im Außeneinsatz, schaltet sie auf ein einfacheres, stromsparendes Modell um, statt auszufallen.“ Welches Merkmal wird geprüft? Mittel
- Ein Abnahmekriterium lautet: „Bevor das KI-gesteuerte Stellwerk eine als kritisch markierte Weichenstellung ausführt, hat der Fahrdienstleiter 20 Sekunden Zeit, sie zu stoppen.“ Welches Merkmal wird geprüft? Mittel
- Welche Abnahmekriterien sind Beispiele für funktionale Sicherheit (Safety)? Mittel
- Welche beiden Normen bilden den umfassenden Rahmen für die Definition von Softwarequalität bei Abnahmekriterien KI-basierter Systeme? Mittel
- Ein Abnahmekriterium verlangt, dass der Einkauf eines zugekauften ML-Modells nachvollziehen kann, woher dessen Trainingsdaten stammen. Welches Merkmal wird geprüft? Mittel
- Welche Abnahmekriterien sind Beispiele für KI-funktionale Korrektheit? Mittel
Qualitätsmerkmale nach ISO/IEC 25059
- Ein Fachbereich fordert für ein ML-Klassifikationssystem: „Das System darf keine einzige Fehlklassifikation liefern.“ Wie ist diese Anforderung zu bewerten? Schwer
- Ein Bilderkennungssystem liefert bei sauberen Testbildern gute Ergebnisse, bei leicht verrauschten oder gezielt manipulierten Bildern aber viele Fehler. Welches Qualitätsmerkmal ist mangelhaft? Schwer
- Ein Kreditsystem lehnt Anträge ab, ohne dass Antragsteller oder Sachbearbeiter erfahren, welches Modell in welcher Version eingesetzt wird und woher die Trainingsdaten stammen. Welches Qualitätsmerkmal ist betroffen? Schwer
- Worin unterscheiden sich Benutzerkontrollierbarkeit und Eingreifbarkeit? Schwer
- Welche Zuordnungen von Qualitätsmerkmal und Perspektive treffen nach ISO/IEC 25059 zu? Schwer
- Ein Empfehlungssystem passt sich im Betrieb an neue Nutzertrends an, verliert dabei aber gegenüber manipulierten Bewertungen an Genauigkeit. Welche Merkmale sind hier gegeneinander abzuwägen? Schwer
KI und funktionale Sicherheit
- Ein Hersteller will für ein KI-basiertes Bremsassistenzsystem die Rückverfolgbarkeit von den Anforderungen bis zur Umsetzung nachweisen. Warum ist das schwierig? Schwer
- Ein gründlich getestetes KI-Modell für eine Industriesteuerung reagiert im Feld auf nahezu identische Eingaben unterschiedlich. Welche Herausforderung zeigt sich hier? Schwer
- Ein selbstlernender Assistent in einer Leitstelle wurde vor der Inbetriebnahme umfassend geprüft. Welche Maßnahmen helfen, damit sich im Betrieb kein gefährliches Verhalten einschleicht? Schwer
- Ein Team will für ein sicherheitsrelevantes KI-System LIME einsetzen, um Entscheidungen nachvollziehbar zu machen. Was ist dabei zu beachten? Schwer
- Ein Medizinproduktehersteller will ein KI-Modul als Sicherheitskomponente einsetzen und sich allein auf eine ausgereifte Norm zur funktionalen Sicherheit stützen. Welche Probleme gibt es? Schwer
- Warum ist die Entwicklung sicherheitsrelevanter Systeme mit KI schwieriger als ohne KI? Schwer
Abnahmekriterien
- Ein Abnahmekriterium lautet: „Das Hofsteuerungssystem benachrichtigt den Landwirt, wenn die Sichtleistung eines Sensors um mehr als 30 % abnimmt, und ermöglicht sofortige manuelle Übersteuerung; ohne Reaktion schaltet es sich ab 50 % vollständig ab.“ Zu welchem Merkmal gehört es? Schwer
- Welche Abnahmekriterien prüfen die KI-Robustheit? Schwer
- Welche Abnahmekriterien prüfen die Eingreifbarkeit? Schwer
- Ein Abnahmekriterium für ein Kernkraftwerk verlangt, dass 100 % der Ein-/Ausgabebeziehungen des ML-Modells von einem Erklärbarkeitswerkzeug mit durchschnittlich mindestens 99,9 % Genauigkeit abgebildet werden. Zu welchem Bereich gehört es? Schwer
- Ein Abnahmekriterium für ein Strafzumessungssystem verlangt, dass es Bevölkerungsgruppen nach einer festgelegten Fairness-Metrik nicht diskriminiert. Welche Aussagen dazu treffen zu? Schwer
- Ein Projektleiter will die Abnahme eines KI-Systems wie bei klassischer Software über einzelne Testfälle mit „bestanden/nicht bestanden“ durchführen. Was spricht dagegen? Schwer
- Welches Abnahmekriterium wäre für die funktionale Anpassungsfähigkeit eines Motorsteuerungssystems geeignet? Schwer
- Ein System zur Fehlervorhersage soll mindestens 90 % der tatsächlich fehlerhaften Module als fehlerhaft erkennen. Welche Aussagen dazu treffen zu? Schwer