ISTQB CT-AI

ML मॉडल टेस्टिंग: मेटामॉर्फिक, ड्रिफ़्ट, A/B

60 प्रश्न

आसान

मेटामॉर्फिक परीक्षण

  1. मेटामॉर्फ़िक टेस्टिंग (MT) क्या है?
  2. मेटामॉर्फ़िक रिलेशन (MR) क्या वर्णन करता है?
  3. मेटामॉर्फ़िक टेस्टिंग कब विशेष रूप से उपयोगी है?
  4. मेटामॉर्फ़िक टेस्टिंग का उपयोग AI के किन अनुप्रयोग क्षेत्रों में पहले ही हो चुका है?
  5. मेटामॉर्फ़िक टेस्टिंग का कौन-सा टेस्ट उद्देश्य बताता है कि इनपुट में विक्षोभ होने पर भी आउटपुट स्थिर रहते हैं?
  6. टेस्टर मेटामॉर्फ़िक रिलेशन कहाँ से निकालते हैं?

ड्रिफ्ट और मॉडल फ़िट

  1. डेटा ड्रिफ़्ट क्या है?
  2. कॉन्सेप्ट ड्रिफ़्ट क्या है?
  3. डेटा ड्रिफ़्ट का उदाहरण कौन-सा है?
  4. डायनेमिक ड्रिफ़्ट टेस्टिंग किस पर निर्भर करती है?
  5. ओवरफ़िटिंग क्या है?
  6. अंडरफ़िटिंग क्या है?
  7. ओवरफ़िटिंग और अंडरफ़िटिंग की टेस्टिंग कब होनी चाहिए?
  8. स्टैटिक ड्रिफ़्ट टेस्टिंग किसकी तुलना करती है?

तुलनात्मक परीक्षण

  1. A/B टेस्टिंग क्या है?
  2. A/B टेस्टिंग का सरल उदाहरण कौन-सा है?
  3. A/B टेस्टिंग के लिए कौन-सी सांख्यिकीय तकनीकें सबसे लोकप्रिय हैं?
  4. बैक-टू-बैक टेस्टिंग क्या है?
  5. बैक-टू-बैक टेस्टिंग के लिए क्या बनाना पड़ता है?
  6. स्यूडो-ओरेकल और टेस्ट किए जा रहे सिस्टम में आदर्श रूप से सामान्य सॉफ़्टवेयर कंपोनेंट क्यों नहीं होने चाहिए?

मध्यम

मेटामॉर्फिक परीक्षण

  1. पारंपरिक ऑरेकल-आधारित परीक्षण की तुलना में मेटामॉर्फिक परीक्षण आमतौर पर कब चुना जाता है?
  2. मेटामॉर्फिक संबंधों को कैसे वैलिडेट किया जा सकता है?
  3. मेटामॉर्फिक परीक्षण की कौन-सी सीमाएँ हैं?
  4. मोनोटोनिक मेटामॉर्फिक संबंध का उदाहरण कौन-सा है?
  5. मेटामॉर्फिक परीक्षण किन प्रकार के परीक्षणों के लिए उपयोग किया जा सकता है?
  6. जब कोई फ़ंक्शन अपेक्षित परिणाम उत्पन्न करने के लिहाज़ से बहुत जटिल हो, तब मेटामॉर्फिक परीक्षण में क्या जाँचा जाता है?

ड्रिफ्ट और मॉडल फ़िट

  1. कॉन्सेप्ट ड्रिफ्ट का उदाहरण कौन-सा है?
  2. फ़िल्म अनुशंसा प्रणाली में प्रत्यक्ष और अप्रत्यक्ष उपयोगकर्ता फ़ीडबैक क्या है?
  3. डायनेमिक ड्रिफ्ट परीक्षण में कैसे तय होता है कि ड्रिफ्ट मौजूद है?
  4. ओवरफ़िटिंग के लिए परीक्षण कैसे किया जाता है?
  5. परीक्षण के दौरान ओवरफ़िटिंग और अंडरफ़िटिंग का पता कैसे लगाया जा सकता है?
  6. लर्निंग कर्व में अंडरफ़िटिंग कैसे दिखती है?
  7. कौन-से मान अंडरफ़िटिंग का संकेत देते हैं?

तुलनात्मक परीक्षण

  1. A/B परीक्षण टेस्ट ऑरेकल समस्या में कैसे मदद करता है?
  2. A/B परीक्षण से AI प्रणाली के अपडेट परखने के लिए कौन-सी पूर्व-शर्त चाहिए?
  3. स्व-अधिगम प्रणालियों के लिए A/B परीक्षण का उपयोग कैसे किया जा सकता है?
  4. कार्यात्मक बैक-टू-बैक परीक्षण में स्यूडो-ऑरेकल के बारे में कौन-से कथन सही हैं?
  5. किन स्थितियों में बैक-टू-बैक परीक्षण विशेष मूल्य देता है?
  6. A/B परीक्षण और बैक-टू-बैक परीक्षण के बीच एक महत्वपूर्ण अंतर क्या है?
  7. बैक-टू-बैक परीक्षण के टेस्ट इनपुट कहाँ से आ सकते हैं?

कठिन

मेटामॉर्फिक परीक्षण

  1. एक इमेज classifier ने एक फ़ोटो को सही ढंग से "cat" पहचाना है। invariance संबंध से कौन-से फ़ॉलो-अप टेस्ट केस निकलते हैं?
  2. एक creditworthiness मॉडल का परीक्षण किया जाना है। कौन-सा metamorphic संबंध monotonicity संबंध है?
  3. एक सर्च इंजन "running shoes" के लिए 800 हिट लौटाता है। डोमेन ज्ञान से निकले किसी उचित metamorphic संबंध से कौन-सा फ़ॉलो-अप टेस्ट केस निकलता है?
  4. एक टीम ऐसे सोर्स टेस्ट केस से metamorphic फ़ॉलो-अप टेस्ट केस निकालती है जो स्वयं विफल हो चुका है। समस्या क्या है?
  5. एक बीमा मॉडल के लिए एक टीम "अधिक आयु हमेशा अधिक प्रीमियम देती है" संबंध का उपयोग करती है और कोई दोष नहीं पाती। बाद में पता चलता है कि आयु और पहले से मौजूद बीमारियाँ आपस में अंतःक्रिया करती हैं। यहाँ क्या हुआ?
  6. एक टीम एक रूट optimization सिस्टम का परीक्षण केवल metamorphic testing से करने की योजना बनाती है। क्या अनुशंसित है?
  7. एक टीम एक ML सिस्टम के लिए कई metamorphic संबंध निकालती है। इस बारे में कौन-से कथन सही हैं?
  8. एक speech recognition सिस्टम ने एक वाक्य को सही ढंग से transcribe किया है। कौन-से फ़ॉलो-अप टेस्ट केस उन metamorphic संबंधों से निकाले जा सकते हैं जिनका अपेक्षित परिणाम वही transcript है?

ड्रिफ्ट और मॉडल फ़िट

  1. स्थिति और drift के प्रकार के कौन-से मिलान सही हैं?
  2. एक fraud detection सिस्टम को इस बारे में कोई फ़ीडबैक नहीं मिलता कि उसके निर्णय सही थे या नहीं। फिर भी drift का परीक्षण कैसे किया जा सकता है?
  3. एक स्ट्रीमिंग सेवा जाँचना चाहती है कि उसका recommendation मॉडल drift कर रहा है या नहीं, और इसके लिए उपयोगकर्ताओं के देखने का डेटा इस्तेमाल करती है। कौन-से कथन सही हैं?
  4. एक मॉडल validation डेटासेट पर 95% accuracy प्राप्त करता है लेकिन कम सामान्य उदाहरणों वाले अलग परीक्षण डेटासेट पर केवल 71%। इससे क्या निष्कर्ष निकाला जा सकता है?
  5. एक मॉडल प्रशिक्षण डेटा पर 61% accuracy और validation डेटा पर 59% प्राप्त करता है; अधिक epochs के साथ भी मान मुश्किल से सुधरते हैं। कौन-से कथन सही हैं?

तुलनात्मक परीक्षण

  1. एक शहर जाँचना चाहता है कि उसके AI-आधारित ट्रैफ़िक routing सिस्टम का अपडेट यात्राओं को बेहतर बनाता है या नहीं। कौन-सा तरीका उपयुक्त है?
  2. एक टीम अपेक्षा करती है कि A/B test नए मॉडल के लिए टेस्ट केस उपलब्ध कराएगा। इस बारे में क्या कहना है?
  3. एक self-learning pricing सिस्टम रातोंरात एक बदलाव करता है। यहाँ A/B testing का उपयोग कैसा दिखता है?
  4. back-to-back testing के लिए pseudo-oracle के रूप में एक टीम उसी open-source लाइब्रेरी और उसी एल्गोरिदम से दूसरा मॉडल बनाती है। दोनों मॉडल हमेशा मेल खाते परिणाम देते हैं। क्या ध्यान रखना चाहिए?
  5. एक टीम को सीमित बजट पर functional back-to-back testing के लिए pseudo-oracle बनाना है। कौन-से कथन मदद करते हैं?
  6. एक ML सिस्टम को विकास से प्रोडक्शन वातावरण में माइग्रेट किया जाता है। टीम सुनिश्चित करना चाहती है कि वह वहाँ वैसा ही व्यवहार करे, खासकर असामान्य इनपुट के लिए। कौन-सी तकनीक उपयुक्त है?
  7. एक टीम एक ओर यह पता लगाना चाहती है कि दो मॉडल वेरिएंट में से किसकी accuracy बेहतर है और दूसरी ओर नए implementation में दोषों का पता लगाना चाहती है। प्रत्येक उद्देश्य के लिए कौन-सी तकनीकें उपयुक्त हैं?

सर्टिफ़िकेशन और परीक्षाएँ

अगली परीक्षा कौन-सी होगी?

आप 51 परीक्षाओं का अभ्यास पहले से कर सकते हैं, 16 पर वोटिंग चल रही है। सभी सर्टिफ़िकेशन आधिकारिक जानकारी के साथ देखें, वोट करें या अपनी परीक्षा सुझाएँ।

सभी सर्टिफ़िकेशन देखें