ISTQB CT-AI

ML मॉडल टेस्टिंग: जोखिम, प्रदर्शन, हमले

60 प्रश्न

आसान

ML मॉडल जोखिम

  1. "एडवर्सरियल एग्ज़ाम्पल" के जोखिम के लिए कौन-सा शमन उपाय उपयुक्त है?
  2. कौन-सा शमन उपाय अस्वीकार्य डेटा ड्रिफ़्ट या कॉन्सेप्ट ड्रिफ़्ट के विरुद्ध मदद करता है?
  3. यदि अपडेट किए गए मॉडल की डिप्लॉयमेंट से तुरंत विफलता हो सकती है, तो कौन-सा शमन उपाय मदद करता है?
  4. कौन-सा शमन उपाय ML मॉडल की अपर्याप्त परफ़ॉर्मेंस एफ़िशिएंसी के विरुद्ध मदद करता है?
  5. कौन-सा शमन उपाय खराब मॉडल डॉक्यूमेंटेशन के विरुद्ध मदद करता है?
  6. कौन-सा शमन उपाय मॉडल API में दोष के विरुद्ध मदद करता है?

मॉडल दस्तावेज़ीकरण

  1. ML मॉडलों का डॉक्यूमेंटेशन इतना महत्वपूर्ण क्यों है?
  2. मॉडल कार्ड क्या हैं?
  3. "datasheets for datasets" क्या वर्णन करती हैं?
  4. उच्च-जोखिम वाले सिस्टम के लिए डॉक्यूमेंटेशन ऑडिट की क्या भूमिका है?
  5. डिप्लॉयमेंट प्लान, मॉनिटरिंग मेट्रिक और रोलबैक प्लान ML मॉडल डॉक्यूमेंटेशन के किस खंड में आते हैं?

कार्यात्मक प्रदर्शन परीक्षण

  1. ML फंक्शनल परफ़ॉर्मेंस टेस्टिंग किसका मूल्यांकन करती है?
  2. सांख्यिकीय एक्सेप्टेंस मानदंडों के संदर्भ में संक्षिप्त रूप MoE का क्या अर्थ है?
  3. प्रोबैबिलिस्टिक ML मॉडल की फंक्शनल परफ़ॉर्मेंस पर टेस्ट रिपोर्ट कैसे लिखी जानी चाहिए?
  4. फंक्शनल परफ़ॉर्मेंस टेस्टिंग के टेस्ट डेटासेट को कौन-सी आवश्यकताएँ पूरी करनी चाहिए?

प्रतिकूल परीक्षण

  1. एडवर्सरियल एग्ज़ाम्पल क्या हैं?
  2. एडवर्सरियल टेस्टिंग का लक्ष्य क्या है?
  3. एडवर्सरियल अटैक को आकस्मिक एडवर्सरियल एग्ज़ाम्पल से क्या अलग करता है?
  4. व्हाइट-बॉक्स ज्ञान एडवर्सरियल टेस्टिंग को आसान क्यों बनाता है?
  5. एडवर्सरियल टेस्टिंग में कौन-सी चुनौतियाँ होती हैं?

मध्यम

ML मॉडल जोखिम

  1. ML मॉडल परीक्षण किस प्रकार के जोखिमों को संबोधित करता है?
  2. ML मॉडलों के लिए टेस्ट ऑरेकल समस्या के विरुद्ध कौन-से शमन उपाय मदद करते हैं?
  3. खराब सिस्टम आवश्यकताओं के मामले में कौन-से शमन उपाय मदद करते हैं?
  4. अप्रत्याशित इनपुट के कारण मॉडल की मज़बूती की कमी के विरुद्ध कौन-से शमन उपाय मदद करते हैं?
  5. कौन-से शमन उपाय उन मॉडल अपडेट के लिए उपयुक्त हैं जो दोष लाते हैं या कार्यात्मक प्रदर्शन घटाते हैं?
  6. रेड टीमिंग किन जोखिमों के विरुद्ध मदद करती है?
  7. "मॉडल साइड-इफ़ेक्ट पैदा करता है" और "मॉडल रिवॉर्ड हैकिंग दिखाता है" जोखिमों के लिए कौन-से शमन उपाय उपयुक्त हैं?

मॉडल दस्तावेज़ीकरण

  1. चेकलिस्ट के विरुद्ध ML मॉडल दस्तावेज़ीकरण की समीक्षा के लक्ष्य क्या हैं?
  2. ML मॉडल दस्तावेज़ीकरण के "datasets" अनुभाग में कौन-सी सामग्री आती है?
  3. ML मॉडल दस्तावेज़ीकरण के "usage" अनुभाग में कौन-सी सामग्री आती है?
  4. मॉडल दस्तावेज़ीकरण के लिए पारदर्शिता की क्या भूमिका है?

कार्यात्मक प्रदर्शन परीक्षण

  1. संभाव्यतावादी ML प्रणालियों के कार्यात्मक प्रदर्शन परीक्षण की पूर्व-शर्त क्या है?
  2. यदि परीक्षणों की संख्या बढ़ने पर विश्वास स्तर निश्चित हो, तो क्या होता है?
  3. यदि परीक्षणों की संख्या बढ़ने पर त्रुटि सीमा निश्चित हो, तो क्या होता है?
  4. सभी स्थितियों में "98% सटीकता, ±4% त्रुटि सीमा, 95% विश्वास स्तर" की पुष्टि के लिए कितने टेस्ट केस चाहिए?
  5. कार्यात्मक प्रदर्शन परीक्षण में सीक्वेंशियल परीक्षण क्या संभव बनाता है?
  6. संभाव्यतावादी ML प्रणालियों का कार्यात्मक प्रदर्शन परीक्षण साधारण "पास/फ़ेल" से आगे क्यों जाता है?

प्रतिकूल परीक्षण

  1. ब्लैक-बॉक्स परीक्षण के रूप में प्रतिकूल परीक्षण कैसे किया जा सकता है?
  2. समतुल्य मॉडल से मूल मॉडल पर प्रतिकूल इनपुट स्थानांतरित करने के पीछे कौन-सी धारणा है?
  3. प्रतिकूल परीक्षण कैसे किया जा सकता है?

कठिन

ML मॉडल जोखिम

  1. मॉडल अपडेट के बाद एक टीम रिपोर्ट करती है: नया मॉडल तैनाती के तुरंत बाद क्रैश हो जाता है, और एक अन्य संस्करण में पहले सही चलने वाले मामले अब काम नहीं करते। इन दोनों जोखिमों के लिए कौन-से शमन उपयुक्त हैं?
  2. मॉडल जोखिम और शमन के कौन-से मिलान सही हैं?
  3. एक चैटबॉट कभी-कभी खतरनाक मार्गदर्शन देता है और व्यक्तिगत डेटा प्रकट कर देता है। इन जोखिमों के लिए कौन-सा शमन उपयुक्त है?
  4. एक टीम के पास नए मॉडल के लिए न तो test oracle है और न ही सटीक आवश्यकताएँ। इन दोनों जोखिमों के लिए कौन-से शमन उपयुक्त हैं?

मॉडल दस्तावेज़ीकरण

  1. मॉडल दस्तावेज़ीकरण की समीक्षा करते समय पता चलता है कि परीक्षण डेटासेट का विवरण, परीक्षण की स्वतंत्रता और adversarial परीक्षण गतिविधियाँ अनुपस्थित हैं। दस्तावेज़ीकरण का कौन-सा अनुभाग अधूरा है, और समीक्षा का कौन-सा लक्ष्य प्रभावित होता है?
  2. ML मॉडल दस्तावेज़ीकरण की सामग्री और अनुभाग के कौन-से मिलान सही हैं?
  3. एक टीम को किसी उच्च-जोखिम सिस्टम के मॉडल और प्रशिक्षण डेटा का वर्णन नियामक को मानकीकृत ढंग से करना है। कौन-से दस्तावेज़ीकरण फ्रेमवर्क उपयुक्त हैं, और किसके लिए?
  4. जिन सिस्टमों को उच्च-जोखिम नहीं माना जाता, उनके लिए भी मॉडल दस्तावेज़ीकरण की गहन समीक्षा क्यों उपयोगी है?

कार्यात्मक प्रदर्शन परीक्षण

  1. "95% confidence level पर ±4% margin of error के साथ 98% accuracy" मानदंड के लिए 601 टेस्ट केस नियोजित किए गए और सभी चलाए गए, उनमें से 580 पास हुए। क्या मानदंड पूरा हुआ?
  2. किसी सुरक्षा-महत्वपूर्ण सिस्टम के लिए "95% confidence के साथ 99% reliability" लागू होती है। कौन-से कथन सही हैं?
  3. 601 टेस्ट केस के बाद प्रेक्षित accuracy 98% है। 95% confidence level पर मापे गए margin of error के बारे में क्या सही है?
  4. एक टीम "95% CL पर ±4% के साथ 98% accuracy" मानदंड के लिए sequential testing का उपयोग करती है, और प्रेक्षित accuracy लगातार 98% या अधिक रहती है। परीक्षण लगभग कब रोका जा सकता है?
  5. एक टीम प्रशिक्षण डेटासेट के एक नमूने पर मॉडल की accuracy मापती है और "95% CL पर 96% ±3%" रिपोर्ट करती है। किसकी आलोचना की जानी चाहिए?
  6. probabilistic ML सिस्टम के लिए कौन-सी परीक्षण रिपोर्ट उपयुक्त है?
  7. एक हितधारक स्वीकृति के लिए केवल "accuracy ≥ 95%" की माँग करता है। सांख्यिकीय रूप से परिभाषित स्वीकृति मानदंड के लिए क्या अनुपस्थित है, और उसका उपयोग किसलिए होता है?
  8. एक प्रोजेक्ट मैनेजर पूछता है कि "95% CL पर ±4% के साथ 98% accuracy" के लिए 601 तक टेस्ट केस क्यों नियोजित हैं, जबकि मॉडल वैसे भी लगभग 98% प्राप्त करता है। कारण क्या है?

प्रतिकूल परीक्षण

  1. एक टीम के पास किसी विक्रेता के इमेज मॉडल तक केवल API एक्सेस है और वह उसे adversarial examples के लिए परखना चाहती है। कौन-से तरीके संभव हैं?
  2. कुछ पिक्सेल, जो मनुष्यों को मुश्किल से दिखते हैं, बदले जाने के बाद एक ट्रैफ़िक साइन पहचानकर्ता स्टॉप साइन को गलत वर्गीकृत करता है। कौन-से कथन सही हैं?
  3. एक विकास टीम के पास अपने मॉडल के आर्किटेक्चर, parameters और प्रशिक्षण प्रक्रिया तक पूर्ण पहुँच है। तब adversarial testing का कौन-सा तरीका आमतौर पर आसान होता है?
  4. एक कंपनी ने दो साल पहले एक बार adversarial testing किया और विषय को निपटा हुआ मानती है। इसके विरुद्ध क्या तर्क है?

सर्टिफ़िकेशन और परीक्षाएँ

अगली परीक्षा कौन-सी होगी?

आप 51 परीक्षाओं का अभ्यास पहले से कर सकते हैं, 16 पर वोटिंग चल रही है। सभी सर्टिफ़िकेशन आधिकारिक जानकारी के साथ देखें, वोट करें या अपनी परीक्षा सुझाएँ।

सभी सर्टिफ़िकेशन देखें