ISTQB CT-AI

机器学习模型测试:蜕变、漂移、A/B

60 道题

简单

蜕变测试

  1. 什么是蜕变测试(MT)?
  2. 蜕变关系(MR)描述什么?
  3. 蜕变测试在什么情况下特别有用?
  4. 蜕变测试已在哪些 AI 应用领域中使用过?
  5. 蜕变测试的哪个测试目标描述“输入受到扰动时输出保持稳定”?
  6. 测试人员从何推导蜕变关系?

漂移与模型拟合

  1. 什么是数据漂移?
  2. 什么是概念漂移?
  3. 下列哪一项是数据漂移的例子?
  4. 动态漂移测试依赖什么?
  5. 什么是过拟合?
  6. 什么是欠拟合?
  7. 过拟合和欠拟合的测试应在何时进行?
  8. 静态漂移测试比较什么?

对比测试

  1. 什么是 A/B 测试?
  2. 下列哪一项是 A/B 测试的简单例子?
  3. 哪些统计技术在 A/B 测试中最常用?
  4. 什么是背靠背测试?
  5. 背靠背测试需要生成什么?
  6. 为什么伪预言和被测系统最好不共用软件组件?

中等

蜕变测试

  1. 什么时候通常选择蜕变测试而不是传统的基于预言的测试?
  2. 如何验证蜕变关系?
  3. 蜕变测试有哪些局限?
  4. 下面哪个是单调蜕变关系的例子?
  5. 蜕变测试可用于哪些类型的测试?
  6. 当函数过于复杂而无法生成预期结果时,蜕变测试检查什么?

漂移与模型拟合

  1. 下面哪个是概念漂移的例子?
  2. 在电影推荐系统中,什么是直接用户反馈,什么是间接用户反馈?
  3. 在动态漂移测试中,如何确定是否存在漂移?
  4. 如何测试过拟合?
  5. 在测试期间如何检测过拟合和欠拟合?
  6. 欠拟合在学习曲线上如何表现?
  7. 哪些数值表明存在欠拟合?

对比测试

  1. A/B testing 如何帮助应对测试预言问题?
  2. 用 A/B testing 测试 AI 系统的更新,需要什么前提条件?
  3. A/B testing 如何用于自学习系统?
  4. 关于功能性背靠背测试中的伪预言(pseudo-oracle),下列哪些说法是正确的?
  5. 背靠背测试在哪些情况下特别有价值?
  6. A/B testing 与背靠背测试之间的显著区别是什么?
  7. 背靠背测试的测试输入可以来自哪里?

困难

蜕变测试

  1. 一个图像分类器已将一张照片正确识别为“猫”。以下哪些后续测试用例来自不变性关系?
  2. 要测试一个信用评估模型。哪个蜕变关系是单调性关系?
  3. 某搜索引擎对“running shoes”返回 800 条结果。根据领域知识推导出的合理蜕变关系,会得出哪个后续测试用例?
  4. 某团队从一个本身就已失败的源测试用例派生出蜕变后续测试用例。问题出在哪里?
  5. 针对一个保险模型,某团队使用“年龄越高,保费总是越高”这一关系,没有发现缺陷。后来发现年龄与既往病史存在交互作用。这里发生了什么?
  6. 某团队计划只用蜕变测试来测试一个路径优化系统。建议怎么做?
  7. 某团队为一个 ML 系统推导出若干蜕变关系。以下哪些说法是正确的?
  8. 一个语音识别系统已正确转写了一个句子。根据预期结果为相同转写文本的蜕变关系,可以派生出哪些后续测试用例?

漂移与模型拟合

  1. 以下哪些情形与漂移类型的对应关系是正确的?
  2. 某欺诈检测系统完全得不到其决策是否正确的反馈。还能如何测试漂移?
  3. 某流媒体服务想检查其推荐模型是否在漂移,并为此使用用户的观看数据。以下哪些说法是正确的?
  4. 某模型在验证数据集上的准确率为 95%,但在包含不太常见示例的独立测试数据集上只有 71%。由此可以得出什么结论?
  5. 某模型在训练数据上的准确率为 61%,在验证数据上为 59%;即使增加训练轮数,这些值也几乎没有改善。以下哪些说法是正确的?

对比测试

  1. 某城市想检查其基于 AI 的交通路径规划系统的更新是否改善了出行。哪种方法合适?
  2. 某团队期望 A/B 测试为新模型提供测试用例。对此应怎么说?
  3. 某个自学习的定价系统在夜间做了一处更改。这时 A/B 测试的使用是怎样的?
  4. 作为背靠背测试的伪预言,某团队用同一个开源库和同一种算法构建了第二个模型。两个模型始终给出一致的结果。必须考虑什么?
  5. 某团队要在预算紧张的情况下,为功能性背靠背测试构建一个伪预言。以下哪些说法有帮助?
  6. 一个 ML 系统从开发环境迁移到生产环境。团队想确保它在那里表现相同,尤其是对于不寻常的输入。哪种技术合适?
  7. 某团队一方面想弄清两个模型变体中哪个准确率更高,另一方面想检测新实现中的缺陷。哪些技术分别适合各自的目的?

认证与考试

下一个考试是什么?

已有 51 项考试可以练习,16 项正在投票中。查看所有认证及官方信息,投出你的一票,或推荐你的考试。

查看全部认证