ISTQB CT-AI

ML डेवलपमेंट और डिप्लॉयमेंट की टेस्टिंग

60 प्रश्न

आसान

ML विकास जोखिम

  1. ML डेवलपमेंट टेस्टिंग किस पर केंद्रित होती है?
  2. TensorFlow या PyTorch जैसी लाइब्रेरी या फ़्रेमवर्क API के गलत या अनपेक्षित उपयोग के विरुद्ध कौन-सा शमन उपाय मदद करता है?
  3. कौन-सा शमन उपाय दोषपूर्ण फ़्रेमवर्क इंस्टॉलेशन या बिल्ड के विरुद्ध मदद करता है?
  4. कौन-सा शमन उपाय फ़्रेमवर्क की खराब यूज़ेबिलिटी के विरुद्ध मदद करता है?
  5. कौन-सा शमन उपाय फ़्रेमवर्क में सुरक्षा कमज़ोरियों के विरुद्ध मदद करता है?
  6. कौन-सा शमन उपाय उप-इष्टतम फ़्रेमवर्क चयन के विरुद्ध मदद करता है?
  7. कौन-सा शमन उपाय फ़्रेमवर्क के खराब यूज़र डॉक्यूमेंटेशन के विरुद्ध मदद करता है?
  8. कौन-सा शमन उपाय डेटा को ट्रेनिंग, वैलिडेशन और टेस्ट डेटासेट में दोषपूर्ण ढंग से बाँटने के विरुद्ध मदद करता है?
  9. कौन-सा टेस्ट पूर्ण डिप्लॉयमेंट से पहले दिखाता है कि नया मॉडल मौजूदा मॉडल से बेहतर है या नहीं?
  10. कौन-सा शमन उपाय खराब परफ़ॉर्मेंस एफ़िशिएंसी के विरुद्ध मदद करता है, उदाहरण के लिए धीमी प्रतिक्रिया देने वाला फ़्रेमवर्क?

परिनियोजन परीक्षण

  1. इंस्टॉलेबिलिटी टेस्टिंग क्या जाँचती है?
  2. रोलबैक टेस्टिंग क्या जाँचती है?
  3. रोलबैक टेस्टिंग कब की जानी चाहिए?
  4. कैनरी टेस्टिंग क्या है?
  5. शैडो टेस्टिंग क्या है?
  6. मॉडल कन्वर्ज़न टेस्टिंग क्या जाँचती है?
  7. क्रॉस-डिवाइस टेस्टिंग क्या जाँचती है?
  8. ML सिस्टम की डिप्लॉयमेंट में API टेस्टिंग क्या जाँचती है?
  9. डिप्लॉयमेंट के समय ML सिस्टम को किन लक्ष्य वातावरणों में सही और भरोसेमंद ढंग से काम करना चाहिए?
  10. कैनरी टेस्टिंग में कौन-से रियल-टाइम मेट्रिक की निगरानी की जाती है?

मध्यम

ML विकास जोखिम

  1. फ्रेमवर्क द्वारा मूल्यांकन के दोषपूर्ण कार्यान्वयन के विरुद्ध कौन-से शमन उपाय मदद करते हैं?
  2. फ्रेमवर्क द्वारा उपयोग की गई लाइब्रेरी में दोष या एल्गोरिद्म के दोषपूर्ण कार्यान्वयन के विरुद्ध कौन-से शमन उपाय मदद करते हैं?
  3. उप-इष्टतम एल्गोरिद्म चयन के विरुद्ध कौन-से शमन उपाय मदद करते हैं?
  4. उप-इष्टतम हाइपरपैरामीटर चयन, उदाहरण के लिए नेटवर्क संरचना या लर्निंग रेट, के विरुद्ध कौन-से शमन उपाय मदद करते हैं?
  5. मूल्यांकन दृष्टिकोण के खराब चयन, उदाहरण के लिए k-fold क्रॉस-वैलिडेशन, के विरुद्ध कौन-सा शमन उपाय मदद करता है?
  6. परिनियोजन दोष, उदाहरण के लिए किसी लक्ष्य प्लेटफ़ॉर्म के लिए संशोधित संस्करण बनाते समय, के विरुद्ध कौन-से शमन उपाय मदद करते हैं?
  7. यदि परिनियोजित मॉडल संचालन परिवेश के साथ असंगत हो, तो कौन-से शमन उपाय मदद करते हैं?
  8. एल्गोरिद्म, मॉडल या फ्रेमवर्क की उन समस्याओं के विरुद्ध कौन-सा शमन उपाय मदद करता है जो प्रणालीगत अनुचितता लाती हैं?
  9. ML कार्यात्मक प्रदर्शन परीक्षण टेस्ट परिणामों की गलत व्याख्या के विरुद्ध क्यों मदद करता है?
  10. स्मोक परीक्षण किन जोखिमों के विरुद्ध मदद करता है?
  11. ML विकास परीक्षण में मज़बूती और दक्षता की पुष्टि के लिए कौन-से परीक्षण प्रकार काम आते हैं?

परिनियोजन परीक्षण

  1. ML प्रणाली के इंस्टॉल-क्षमता परीक्षण में, अन्य बातों के साथ, क्या जाँचा जाता है?
  2. रोलबैक परीक्षण क्या कवर कर सकता है?
  3. पूर्ण परिनियोजन से पहले शैडो परीक्षण कौन-से दोष उजागर कर सकता है?
  4. मॉडल रूपांतरण परीक्षण पूर्वानुमान सटीकता के अलावा क्या जाँचता है?
  5. ML प्रणाली के API परीक्षण में इंटीग्रेशन वर्कफ़्लो किन बाहरी प्रणालियों के साथ जाँचे जाते हैं?
  6. कैनरी परीक्षण को शैडो परीक्षण से क्या अलग करता है?
  7. कैनरी परीक्षण का लक्ष्य क्या है?
  8. एक मॉडल को प्रशिक्षण फ़ॉर्मैट से स्मार्टफ़ोन के लिए संक्षिप्त रनटाइम फ़ॉर्मैट में बदला गया। इसके लिए कौन-सा परिनियोजन परीक्षण है?
  9. एक ML प्रणाली को Android स्मार्टफ़ोन, कारखानों के एज डिवाइस और क्लाउड सर्वरों पर चलना है। कौन-सा परिनियोजन परीक्षण विशेष रूप से प्रासंगिक है?

कठिन

ML विकास जोखिम

  1. एक टीम को संदेह है कि किसी फ्रेमवर्क की मीट्रिक गणना गलत F1 मान देती है। इस जोखिम के लिए कौन-से शमन उपयुक्त हैं?
  2. PyTorch अपडेट के बाद उसी डेटा के साथ वही मॉडल अलग परिणाम देता है। कौन-सा जोखिम मौजूद है, और कौन-से शमन उपयुक्त हैं?
  3. एक टीम पाती है कि कुछ रिकॉर्ड प्रशिक्षण और परीक्षण दोनों डेटासेट में मौजूद हैं। कौन-सा जोखिम मौजूद है, और कौन-सा शमन उपयुक्त है?
  4. समान कॉन्फ़िगरेशन वाले दो प्रशिक्षण रन थोड़े भिन्न accuracy मान देते हैं, और एक डेवलपर इससे hyperparameter बदलाव के बारे में दूरगामी निष्कर्ष निकालता है। कौन-सा जोखिम और कौन-सा शमन उपयुक्त है?
  5. ML विकास में जोखिम और शमन के कौन-से मिलान सही हैं?
  6. एक टीम ने अनुपयुक्त विभाजन के साथ k-fold cross-validation चुना और परिणामों को विश्वसनीय मानती है। इस विकास जोखिम के विरुद्ध कौन-सा शमन मदद करता है?
  7. किसी लक्षित प्लेटफ़ॉर्म के लिए अनुकूलित मॉडल संस्करण बनाते समय एक त्रुटि हुई। कौन-से शमन उपयुक्त हैं?
  8. एक टीम ने ऐसा फ्रेमवर्क चुना जो edge डिवाइसों पर नियोजित उपयोग के लिए अनुपयुक्त है, और उसकी प्रतिक्रियाएँ भी बहुत धीमी हैं। कौन-से शमन उपयुक्त हैं?
  9. एक डेवलपर किसी ML लाइब्रेरी के फ़ंक्शन को अदल-बदल किए गए पैरामीटरों के साथ कॉल करता है और कोई त्रुटि रिपोर्ट नहीं होती। कौन-सा जोखिम मौजूद है, और कौन-सा शमन उपयुक्त है?

परिनियोजन परीक्षण

  1. एक बैंक किसी नए fraud detection मॉडल की तुलना लाइव लेन-देन से करना चाहता है, इस तरह कि नए मॉडल के संभावित गलत निर्णयों से ग्राहक प्रभावित न हों। कौन-सा deployment test उपयुक्त है?
  2. एक ऑनलाइन रिटेलर नया recommendation मॉडल धीरे-धीरे लागू करना चाहता है और सभी उपयोगकर्ताओं को मिलने से पहले regressions का जल्दी पता लगाना चाहता है। कौन-सा deployment test उपयुक्त है, और वह कैसे काम करता है?
  3. एक टीम rollback की जाँच तभी करना चाहती है जब कोई deployment वास्तव में विफल हो चुका हो। इस बारे में क्या कहना है?
  4. किसी विफल मॉडल अपडेट के बाद data pipeline को भी उसकी पिछली स्थिति में रीसेट किया जाना है। rollback testing के बारे में कौन-से कथन सही हैं?
  5. एक मॉडल को edge डिवाइस के लिए संपीड़ित किया गया और दूसरे फ़ॉर्मेट में बदला गया। डिवाइस पर वह तेज़ है, लेकिन कुछ पूर्वानुमान विचलित होते हैं। कौन-सा परीक्षण इसे कवर करता है, और वह क्या जाँचता है?
  6. एक ML सिस्टम को नए सर्वर पर शुरू नहीं किया जा सकता क्योंकि उपयुक्त GPU ड्राइवर अनुपस्थित है। किस deployment test को इसका पता लगाना चाहिए था?
  7. एक मॉडल क्लाउड में सही काम करता है लेकिन पुराने स्मार्टफ़ोन पर त्रुटियाँ देता है। कौन-सा deployment test इस जोखिम को संबोधित करता है?
  8. एक ग्राहक रिपोर्ट करता है कि एक ML सेवा का इंटरफ़ेस गलत इनपुट के लिए कोई समझने योग्य त्रुटि संदेश नहीं लौटाता और मानकों के अनुरूप नहीं है। कौन-सा परीक्षण ज़िम्मेदार है, और वह क्या कवर करता है?
  9. एक टीम लाइव डेटा से नए मॉडल की तुलना मौजूदा मॉडल से करना चाहती है और उपयोगकर्ताओं को प्रभावित किए बिना data drift और प्रदर्शन regressions का भी पता लगाना चाहती है। कौन-से कथन सही हैं?
  10. deployment जोखिम और deployment test के कौन-से मिलान सही हैं?
  11. एक कंपनी नया मॉडल तीन चरणों में लागू करने की योजना बनाती है: पहले उपयोगकर्ताओं को प्रभावित किए बिना समानांतर में, फिर उपयोगकर्ताओं के एक छोटे उपसमूह के लिए, फिर सबके लिए। पहले दो चरणों के लिए कौन-से परीक्षण उपयुक्त हैं?

सर्टिफ़िकेशन और परीक्षाएँ

अगली परीक्षा कौन-सी होगी?

आप 51 परीक्षाओं का अभ्यास पहले से कर सकते हैं, 16 पर वोटिंग चल रही है। सभी सर्टिफ़िकेशन आधिकारिक जानकारी के साथ देखें, वोट करें या अपनी परीक्षा सुझाएँ।

सभी सर्टिफ़िकेशन देखें