Datensatz- und Labelprüfung · Frage 19 von 60
Mit welchen Metriken kann die Übereinstimmung zwischen Annotatoren (IAA) gemessen werden?
1 Antwort ist richtig. Einfach
Lösung anzeigen
Lösung
- B Cohens Kappa oder einfache prozentuale Übereinstimmung
Erklärung
Wie einig sich Annotatoren sind (Inter-Annotator-Agreement, IAA), misst man etwa mit Cohens Kappa oder schlicht mit dem Prozentsatz gleicher Labels. Ist die Einigkeit gering, sind oft die Richtlinien unklar, die Daten mehrdeutig oder die Annotation schlampig.