Vergleichende Tests · Frage 56 von 60
Ein Team baut als Pseudo-Orakel für einen Back-to-Back-Test ein zweites Modell mit derselben Open-Source-Bibliothek und demselben Algorithmus. Beide Modelle liefern immer übereinstimmende Ergebnisse. Was ist zu bedenken?
2 Antworten sind richtig. Schwer
Lösung anzeigen
Lösung
- A Besser wäre ein von einem unabhängigen Team entwickeltes Pseudo-Orakel mit anderen Frameworks, Algorithmen oder Einstellungen
- C Wegen gemeinsamer Komponenten können beide denselben Fehler enthalten, sodass die Übereinstimmung trügt
Erklärung
Pseudo-Orakel und Testobjekt sollten idealerweise keine gemeinsamen Softwarekomponenten nutzen, sonst können beide denselben Fehler haben und übereinstimmen, obwohl beide falsch liegen. Das ist wegen der verbreiteten wiederverwendbaren Open-Source-KI-Komponenten besonders problematisch. Deshalb wird das Pseudo-Orakel oft von einem anderen, idealerweise unabhängigen Team mit anderen Frameworks, Algorithmen oder Einstellungen entwickelt.