ISTQB CT-AI
AI सिस्टम और GenAI की टेस्टिंग
आसान
AI-आधारित प्रणालियों के परीक्षण के मूल सिद्धांत
- Locked AI-आधारित सिस्टम की क्या विशेषता है?
- Adaptive AI-आधारित सिस्टम का उदाहरण कौन-सा है?
- किस प्रकार के AI-आधारित सिस्टम का परीक्षण कहीं आसान है?
- अपडेट किए गए locked AI-आधारित सिस्टम के साथ सामान्यतः कैसा व्यवहार किया जाता है?
- किसी एक टेस्ट, जैसे कुत्ते के रूप में वर्गीकृत की गई बिल्ली, से मॉडल की functional correctness भरोसेमंद ढंग से क्यों नहीं दिख सकती?
- Test oracle समस्या क्या वर्णित करती है?
- Proxy oracle क्या है?
- Test oracle समस्या के समाधान के रूप में आउटपुट सीमाएँ परिभाषित करने का उदाहरण कौन-सा है?
जनरेटिव AI का परीक्षण
- जनरेटिव AI की टेस्टिंग में कौन-सा टेस्ट दृष्टिकोण आम है?
- GenAI की टेस्टिंग में "input explosion problem" किसे कहा जाता है?
- जनरेटिव AI की टेस्टिंग में benchmark suites किस लिए उपयोग की जाती हैं?
- Red teaming (RT) क्या है?
- जनरेटिव AI के लिए red teaming विशेष रूप से महत्वपूर्ण क्यों है?
- Red teaming कब सबसे प्रभावी होती है?
- Blue teaming क्या है?
परीक्षण स्तर और जोखिम-आधारित परीक्षण
मध्यम
AI-आधारित प्रणालियों के परीक्षण के मूल सिद्धांत
- LLM-आधारित चैटबॉट जैसे कई GenAI सिस्टम locked और adaptive सिस्टम के बीच कहाँ आते हैं?
- बड़े न्यूरल नेटवर्क वाले locked AI सिस्टम भी व्यवहार में गैर-नियतात्मक व्यवहार क्यों दिखा सकते हैं?
- किसी adaptive AI सिस्टम को डिप्लॉयमेंट से पहले कैसे टेस्ट किया जा सकता है?
- संचालन में किसी adaptive AI सिस्टम के अनुकूलनों के सुरक्षित होने की जाँच कैसे की जा सकती है?
- AI सिस्टम की टेस्टिंग के लिए सांख्यिकीय दृष्टिकोण के पक्ष में कौन-से कारण हैं?
- किन सांख्यिकीय साधनों से मॉडल की accuracy, निष्पक्षता और robustness को मात्रात्मक रूप से मापा जा सकता है?
- संचालनात्मक डेटा से परिदृश्यों के सांख्यिकीय रूप से महत्वपूर्ण नमूने को क्यों टेस्ट करना चाहिए?
- AI सिस्टम में test oracle समस्या का कारण क्या है?
- test oracle समस्या के लिए कौन-से दृष्टिकोण मौजूद हैं?
- टेस्टरों को प्रकाश, तापमान या नेटवर्क लेटेंसी जैसी पर्यावरणीय सीमाएँ क्यों निर्दिष्ट करनी चाहिए?
- test oracle के रूप में डोमेन विशेषज्ञों से परामर्श की कौन-सी सीमा है?
जनरेटिव AI का परीक्षण
- जनरेटिव AI की टेस्टिंग में किसका मूल्यांकन किया जाता है?
- प्रॉम्प्ट के अलावा कौन-से पैरामीटर GenAI सिस्टम के आउटपुट को प्रभावित करते हैं?
- GenAI सिस्टम के लिए कौन-से गैर-कार्यात्मक माप प्रासंगिक हैं?
- red teaming का उद्देश्य उदाहरण के लिए कौन-से हानिकारक परिणाम भड़काना है?
- विशिष्ट red teaming दृष्टिकोण में कौन-से चरण शामिल हैं?
- red teaming में व्यापक कवरेज किन दृष्टिकोणों से हासिल की जा सकती है?
परीक्षण स्तर और जोखिम-आधारित परीक्षण
कठिन
AI-आधारित प्रणालियों के परीक्षण के मूल सिद्धांत
- एक ऑटोमोटिव आपूर्तिकर्ता ट्रैफ़िक संकेत पहचान के लिए एक स्थिर प्रशिक्षित DNN उपयोग करता है और एक वर्ष बाद दोबारा प्रशिक्षित मॉडल परिनियोजित करता है। कौन-से कथन सही हैं?
- एक टीम GPUs पर एक locked image classification मॉडल को टेस्ट करती है और दुर्लभ मामलों में समान इनपुट के लिए थोड़े भिन्न आउटपुट पाती है। इसे कैसे वर्गीकृत किया जाए?
- एक टेस्टर से कहा जाता है कि वह एक adaptive recommender सिस्टम के सभी भावी व्यवहारों के लिए पहले से टेस्ट केस लिखे। इस बारे में क्या कहा जाए?
- परिनियोजन से पहले adaptive AI सिस्टमों की टेस्टिंग locked सिस्टमों की तुलना में अधिक जटिल क्यों है?
- एक टीम ने एक image मॉडल को 20 टेस्ट चित्रों से जाँचा, सभी सही वर्गीकृत हुए, और अब वह "100% सही" रिपोर्ट करना चाहती है। इसके विरुद्ध क्या बात है?
- एक चिकित्सीय AI सिस्टम के निर्माता को किसी प्राधिकरण को दिखाना है कि एक fairness सीमा पूरी होती है। कौन-से कथन सही हैं?
- एक virtual assistant की टेस्टिंग करने वाली टीम "सही" उत्तरों पर सहमत नहीं हो पाती क्योंकि उपयोगकर्ताओं की अपेक्षाएँ बहुत अलग हैं। टेस्ट oracle समस्या का कौन-सा कारण मौजूद है, और क्या मदद करता है?
- एक image classification मॉडल के लिए बहुत से बिना लेबल के टेस्ट चित्र हैं पर अपेक्षित परिणाम नहीं हैं। कौन-सा तरीका उपयुक्त है?
- एक स्वयं सीखने वाला प्राइसिंग सिस्टम अपेक्षित परिणामों के एक सेट के साथ स्वीकृत किया गया था। कुछ सप्ताह बाद इनमें से कई टेस्ट विफल होते हैं जबकि सिस्टम अच्छा काम कर रहा है। इसका कारण क्या है?
- जटिल प्रोटीन संरचनाओं का आकलन करने वाला एक मॉडल ऐसे परिणाम देता है जिन्हें मनुष्य मुश्किल से सत्यापित कर सकते हैं। कौन-से कथन सही हैं?
जनरेटिव AI का परीक्षण
- एक टीम एक image generator के चित्रों को image recognition सिस्टम से स्वचालित रूप से जँचवाती है। इस बारे में कौन-से कथन सही हैं?
- एक टेस्टर को एक chatbot से सत्र के अनुसार एक ही उपयोगकर्ता prompt के अलग-अलग उत्तर मिलते हैं। कौन-से कारक संभावित कारण हैं?
- यदि आउटपुटों की मैन्युअल समीक्षा की जाती है, तो GenAI की टेस्टिंग में "passed" या "failed" का निर्णय कैसे होता है?
- एक कंपनी लॉन्च से पहले सुरक्षा कमज़ोरियों के लिए RAG एकीकरण वाले एक LLM की red teaming से जाँच करना चाहती है। किन हमलों पर विचार करना चाहिए?
- एक स्वास्थ्य सेवा chatbot की सुरक्षा (safety) की जाँच red teaming से की जानी है। security red teaming के विपरीत इसका उद्देश्य क्या है?
- Red teaming का benchmarks से क्या संबंध है?
- एक टीम केवल सुरक्षा (security) के लिए red teaming की योजना बनाती है। red teaming और कौन-से क्षेत्र कवर कर सकती है, और विनियमन की क्या भूमिका है?
परीक्षण स्तर और जोखिम-आधारित परीक्षण
- एक कंपनी एक क्लाउड प्रदाता के language model को सेवा के रूप में उपयोग करती है और उसे अपने CRM में एकीकृत करती है। इसके लिए कौन-से टेस्ट स्तर और गतिविधियाँ अभिप्रेत हैं?
- एक DNN को स्मार्टफोन के लिए छोटा करने हेतु संपीड़ित किया गया। यहाँ कौन-सा टेस्ट स्तर विशेष रूप से महत्वपूर्ण है, और क्या जाँचा जाता है?
- ML कार्यप्रवाह के अनुसार जोखिम और क्षेत्र के कौन-से मिलान सही हैं?