डेटासेट और लेबल जाँच · प्रश्न 19 / 60
इंटर-एनोटेटर एग्रीमेंट (IAA) मापने के लिए कौन-से मेट्रिक इस्तेमाल किए जा सकते हैं?
1 उत्तर सही है। आसान AI से बनाया गया
उत्तर दिखाएँ
उत्तर
- B Cohen's Kappa या सरल प्रतिशत सहमति
व्याख्या
एनोटेटर कितने सहमत हैं (इंटर-एनोटेटर एग्रीमेंट, IAA), इसे उदाहरण के लिए Cohen's Kappa से या सीधे समान लेबलों के प्रतिशत के रूप में मापा जाता है। यदि सहमति कम है, तो अक्सर दिशानिर्देश अस्पष्ट होते हैं, डेटा संदिग्ध होता है या एनोटेशन लापरवाही से किया गया होता है।