ISTQB CT-AI
ML मॉडल टेस्टिंग: जोखिम, प्रदर्शन, हमले
आसान
ML मॉडल जोखिम
- "एडवर्सरियल एग्ज़ाम्पल" के जोखिम के लिए कौन-सा शमन उपाय उपयुक्त है?
- कौन-सा शमन उपाय अस्वीकार्य डेटा ड्रिफ़्ट या कॉन्सेप्ट ड्रिफ़्ट के विरुद्ध मदद करता है?
- यदि अपडेट किए गए मॉडल की डिप्लॉयमेंट से तुरंत विफलता हो सकती है, तो कौन-सा शमन उपाय मदद करता है?
- कौन-सा शमन उपाय ML मॉडल की अपर्याप्त परफ़ॉर्मेंस एफ़िशिएंसी के विरुद्ध मदद करता है?
- कौन-सा शमन उपाय खराब मॉडल डॉक्यूमेंटेशन के विरुद्ध मदद करता है?
- कौन-सा शमन उपाय मॉडल API में दोष के विरुद्ध मदद करता है?
मॉडल दस्तावेज़ीकरण
- ML मॉडलों का डॉक्यूमेंटेशन इतना महत्वपूर्ण क्यों है?
- मॉडल कार्ड क्या हैं?
- "datasheets for datasets" क्या वर्णन करती हैं?
- उच्च-जोखिम वाले सिस्टम के लिए डॉक्यूमेंटेशन ऑडिट की क्या भूमिका है?
- डिप्लॉयमेंट प्लान, मॉनिटरिंग मेट्रिक और रोलबैक प्लान ML मॉडल डॉक्यूमेंटेशन के किस खंड में आते हैं?
कार्यात्मक प्रदर्शन परीक्षण
- ML फंक्शनल परफ़ॉर्मेंस टेस्टिंग किसका मूल्यांकन करती है?
- सांख्यिकीय एक्सेप्टेंस मानदंडों के संदर्भ में संक्षिप्त रूप MoE का क्या अर्थ है?
- प्रोबैबिलिस्टिक ML मॉडल की फंक्शनल परफ़ॉर्मेंस पर टेस्ट रिपोर्ट कैसे लिखी जानी चाहिए?
- फंक्शनल परफ़ॉर्मेंस टेस्टिंग के टेस्ट डेटासेट को कौन-सी आवश्यकताएँ पूरी करनी चाहिए?
प्रतिकूल परीक्षण
मध्यम
ML मॉडल जोखिम
- ML मॉडल परीक्षण किस प्रकार के जोखिमों को संबोधित करता है?
- ML मॉडलों के लिए टेस्ट ऑरेकल समस्या के विरुद्ध कौन-से शमन उपाय मदद करते हैं?
- खराब सिस्टम आवश्यकताओं के मामले में कौन-से शमन उपाय मदद करते हैं?
- अप्रत्याशित इनपुट के कारण मॉडल की मज़बूती की कमी के विरुद्ध कौन-से शमन उपाय मदद करते हैं?
- कौन-से शमन उपाय उन मॉडल अपडेट के लिए उपयुक्त हैं जो दोष लाते हैं या कार्यात्मक प्रदर्शन घटाते हैं?
- रेड टीमिंग किन जोखिमों के विरुद्ध मदद करती है?
- "मॉडल साइड-इफ़ेक्ट पैदा करता है" और "मॉडल रिवॉर्ड हैकिंग दिखाता है" जोखिमों के लिए कौन-से शमन उपाय उपयुक्त हैं?
मॉडल दस्तावेज़ीकरण
- चेकलिस्ट के विरुद्ध ML मॉडल दस्तावेज़ीकरण की समीक्षा के लक्ष्य क्या हैं?
- ML मॉडल दस्तावेज़ीकरण के "datasets" अनुभाग में कौन-सी सामग्री आती है?
- ML मॉडल दस्तावेज़ीकरण के "usage" अनुभाग में कौन-सी सामग्री आती है?
- मॉडल दस्तावेज़ीकरण के लिए पारदर्शिता की क्या भूमिका है?
कार्यात्मक प्रदर्शन परीक्षण
- संभाव्यतावादी ML प्रणालियों के कार्यात्मक प्रदर्शन परीक्षण की पूर्व-शर्त क्या है?
- यदि परीक्षणों की संख्या बढ़ने पर विश्वास स्तर निश्चित हो, तो क्या होता है?
- यदि परीक्षणों की संख्या बढ़ने पर त्रुटि सीमा निश्चित हो, तो क्या होता है?
- सभी स्थितियों में "98% सटीकता, ±4% त्रुटि सीमा, 95% विश्वास स्तर" की पुष्टि के लिए कितने टेस्ट केस चाहिए?
- कार्यात्मक प्रदर्शन परीक्षण में सीक्वेंशियल परीक्षण क्या संभव बनाता है?
- संभाव्यतावादी ML प्रणालियों का कार्यात्मक प्रदर्शन परीक्षण साधारण "पास/फ़ेल" से आगे क्यों जाता है?
प्रतिकूल परीक्षण
कठिन
ML मॉडल जोखिम
- मॉडल अपडेट के बाद एक टीम रिपोर्ट करती है: नया मॉडल तैनाती के तुरंत बाद क्रैश हो जाता है, और एक अन्य संस्करण में पहले सही चलने वाले मामले अब काम नहीं करते। इन दोनों जोखिमों के लिए कौन-से शमन उपयुक्त हैं?
- मॉडल जोखिम और शमन के कौन-से मिलान सही हैं?
- एक चैटबॉट कभी-कभी खतरनाक मार्गदर्शन देता है और व्यक्तिगत डेटा प्रकट कर देता है। इन जोखिमों के लिए कौन-सा शमन उपयुक्त है?
- एक टीम के पास नए मॉडल के लिए न तो test oracle है और न ही सटीक आवश्यकताएँ। इन दोनों जोखिमों के लिए कौन-से शमन उपयुक्त हैं?
मॉडल दस्तावेज़ीकरण
- मॉडल दस्तावेज़ीकरण की समीक्षा करते समय पता चलता है कि परीक्षण डेटासेट का विवरण, परीक्षण की स्वतंत्रता और adversarial परीक्षण गतिविधियाँ अनुपस्थित हैं। दस्तावेज़ीकरण का कौन-सा अनुभाग अधूरा है, और समीक्षा का कौन-सा लक्ष्य प्रभावित होता है?
- ML मॉडल दस्तावेज़ीकरण की सामग्री और अनुभाग के कौन-से मिलान सही हैं?
- एक टीम को किसी उच्च-जोखिम सिस्टम के मॉडल और प्रशिक्षण डेटा का वर्णन नियामक को मानकीकृत ढंग से करना है। कौन-से दस्तावेज़ीकरण फ्रेमवर्क उपयुक्त हैं, और किसके लिए?
- जिन सिस्टमों को उच्च-जोखिम नहीं माना जाता, उनके लिए भी मॉडल दस्तावेज़ीकरण की गहन समीक्षा क्यों उपयोगी है?
कार्यात्मक प्रदर्शन परीक्षण
- "95% confidence level पर ±4% margin of error के साथ 98% accuracy" मानदंड के लिए 601 टेस्ट केस नियोजित किए गए और सभी चलाए गए, उनमें से 580 पास हुए। क्या मानदंड पूरा हुआ?
- किसी सुरक्षा-महत्वपूर्ण सिस्टम के लिए "95% confidence के साथ 99% reliability" लागू होती है। कौन-से कथन सही हैं?
- 601 टेस्ट केस के बाद प्रेक्षित accuracy 98% है। 95% confidence level पर मापे गए margin of error के बारे में क्या सही है?
- एक टीम "95% CL पर ±4% के साथ 98% accuracy" मानदंड के लिए sequential testing का उपयोग करती है, और प्रेक्षित accuracy लगातार 98% या अधिक रहती है। परीक्षण लगभग कब रोका जा सकता है?
- एक टीम प्रशिक्षण डेटासेट के एक नमूने पर मॉडल की accuracy मापती है और "95% CL पर 96% ±3%" रिपोर्ट करती है। किसकी आलोचना की जानी चाहिए?
- probabilistic ML सिस्टम के लिए कौन-सी परीक्षण रिपोर्ट उपयुक्त है?
- एक हितधारक स्वीकृति के लिए केवल "accuracy ≥ 95%" की माँग करता है। सांख्यिकीय रूप से परिभाषित स्वीकृति मानदंड के लिए क्या अनुपस्थित है, और उसका उपयोग किसलिए होता है?
- एक प्रोजेक्ट मैनेजर पूछता है कि "95% CL पर ±4% के साथ 98% accuracy" के लिए 601 तक टेस्ट केस क्यों नियोजित हैं, जबकि मॉडल वैसे भी लगभग 98% प्राप्त करता है। कारण क्या है?
प्रतिकूल परीक्षण
- एक टीम के पास किसी विक्रेता के इमेज मॉडल तक केवल API एक्सेस है और वह उसे adversarial examples के लिए परखना चाहती है। कौन-से तरीके संभव हैं?
- कुछ पिक्सेल, जो मनुष्यों को मुश्किल से दिखते हैं, बदले जाने के बाद एक ट्रैफ़िक साइन पहचानकर्ता स्टॉप साइन को गलत वर्गीकृत करता है। कौन-से कथन सही हैं?
- एक विकास टीम के पास अपने मॉडल के आर्किटेक्चर, parameters और प्रशिक्षण प्रक्रिया तक पूर्ण पहुँच है। तब adversarial testing का कौन-सा तरीका आमतौर पर आसान होता है?
- एक कंपनी ने दो साल पहले एक बार adversarial testing किया और विषय को निपटा हुआ मानती है। इसके विरुद्ध क्या तर्क है?