ISTQB CT-AI
机器学习模型测试:蜕变、漂移、A/B
简单
蜕变测试
- 什么是蜕变测试(MT)?
- 蜕变关系(MR)描述什么?
- 蜕变测试在什么情况下特别有用?
- 蜕变测试已在哪些 AI 应用领域中使用过?
- 蜕变测试的哪个测试目标描述“输入受到扰动时输出保持稳定”?
- 测试人员从何推导蜕变关系?
漂移与模型拟合
对比测试
中等
蜕变测试
- 什么时候通常选择蜕变测试而不是传统的基于预言的测试?
- 如何验证蜕变关系?
- 蜕变测试有哪些局限?
- 下面哪个是单调蜕变关系的例子?
- 蜕变测试可用于哪些类型的测试?
- 当函数过于复杂而无法生成预期结果时,蜕变测试检查什么?
漂移与模型拟合
- 下面哪个是概念漂移的例子?
- 在电影推荐系统中,什么是直接用户反馈,什么是间接用户反馈?
- 在动态漂移测试中,如何确定是否存在漂移?
- 如何测试过拟合?
- 在测试期间如何检测过拟合和欠拟合?
- 欠拟合在学习曲线上如何表现?
- 哪些数值表明存在欠拟合?
对比测试
困难
蜕变测试
- 一个图像分类器已将一张照片正确识别为“猫”。以下哪些后续测试用例来自不变性关系?
- 要测试一个信用评估模型。哪个蜕变关系是单调性关系?
- 某搜索引擎对“running shoes”返回 800 条结果。根据领域知识推导出的合理蜕变关系,会得出哪个后续测试用例?
- 某团队从一个本身就已失败的源测试用例派生出蜕变后续测试用例。问题出在哪里?
- 针对一个保险模型,某团队使用“年龄越高,保费总是越高”这一关系,没有发现缺陷。后来发现年龄与既往病史存在交互作用。这里发生了什么?
- 某团队计划只用蜕变测试来测试一个路径优化系统。建议怎么做?
- 某团队为一个 ML 系统推导出若干蜕变关系。以下哪些说法是正确的?
- 一个语音识别系统已正确转写了一个句子。根据预期结果为相同转写文本的蜕变关系,可以派生出哪些后续测试用例?
漂移与模型拟合
- 以下哪些情形与漂移类型的对应关系是正确的?
- 某欺诈检测系统完全得不到其决策是否正确的反馈。还能如何测试漂移?
- 某流媒体服务想检查其推荐模型是否在漂移,并为此使用用户的观看数据。以下哪些说法是正确的?
- 某模型在验证数据集上的准确率为 95%,但在包含不太常见示例的独立测试数据集上只有 71%。由此可以得出什么结论?
- 某模型在训练数据上的准确率为 61%,在验证数据上为 59%;即使增加训练轮数,这些值也几乎没有改善。以下哪些说法是正确的?
对比测试
- 某城市想检查其基于 AI 的交通路径规划系统的更新是否改善了出行。哪种方法合适?
- 某团队期望 A/B 测试为新模型提供测试用例。对此应怎么说?
- 某个自学习的定价系统在夜间做了一处更改。这时 A/B 测试的使用是怎样的?
- 作为背靠背测试的伪预言,某团队用同一个开源库和同一种算法构建了第二个模型。两个模型始终给出一致的结果。必须考虑什么?
- 某团队要在预算紧张的情况下,为功能性背靠背测试构建一个伪预言。以下哪些说法有帮助?
- 一个 ML 系统从开发环境迁移到生产环境。团队想确保它在那里表现相同,尤其是对于不寻常的输入。哪种技术合适?
- 某团队一方面想弄清两个模型变体中哪个准确率更高,另一方面想检测新实现中的缺陷。哪些技术分别适合各自的目的?