ISTQB CT-AI

机器学习模型测试:风险、性能、攻击

60 道题

简单

ML 模型风险

  1. 哪种缓解措施适用于“对抗样本”这一风险?
  2. 哪种缓解措施有助于应对不可接受的数据漂移或概念漂移?
  3. 如果部署更新后的模型可能立即导致失败,哪种缓解措施有帮助?
  4. 哪种缓解措施有助于应对 ML 模型的性能效率不足?
  5. 哪种缓解措施有助于应对模型文档质量差?
  6. 哪种缓解措施有助于应对模型 API 中的缺陷?

模型文档

  1. 为什么 ML 模型的文档如此重要?
  2. 什么是模型卡(model cards)?
  3. “datasheets for datasets”描述什么?
  4. 文档审核对高风险系统起什么作用?
  5. 部署计划、监控指标和回滚计划属于 ML 模型文档的哪个部分?

功能性能测试

  1. ML 功能性能测试评估什么?
  2. 在统计验收标准中,缩写 MoE 代表什么?
  3. 概率型 ML 模型的功能性能测试报告应如何表述?
  4. 功能性能测试的测试数据集必须满足哪些要求?

对抗性测试

  1. 什么是对抗样本(adversarial examples)?
  2. 对抗测试的目标是什么?
  3. 对抗攻击与意外的对抗样本有何区别?
  4. 为什么白盒知识使对抗测试更容易?
  5. 对抗测试面临哪些挑战?

中等

ML 模型风险

  1. 机器学习模型测试应对哪些类型的风险?
  2. 哪些缓解措施有助于应对机器学习模型的测试预言问题(test oracle problem)?
  3. 哪些缓解措施有助于应对糟糕的系统需求?
  4. 哪些缓解措施有助于应对因意外输入而导致的模型稳健性不足?
  5. 哪些缓解措施适用于引入缺陷或降低功能性能的模型更新?
  6. 红队测试有助于应对哪些风险?
  7. 哪些缓解措施适用于“模型产生副作用”和“模型出现奖励作弊(reward hacking)”这两种风险?

模型文档

  1. 对照检查清单评审机器学习模型文档的目标是什么?
  2. 机器学习模型文档的“数据集”部分应包含哪些内容?
  3. 机器学习模型文档的“使用”部分应包含哪些内容?
  4. 透明度对模型文档起什么作用?

功能性能测试

  1. 对概率性机器学习系统进行功能性能测试的前提条件是什么?
  2. 当置信水平固定时,随着测试数量增加会发生什么?
  3. 当误差范围固定时,随着测试数量增加会发生什么?
  4. 要在所有条件下确认“98% 的准确率,误差范围 ±4%,置信水平 95%”,需要多少个测试用例?
  5. 序贯测试(sequential testing)在功能性能测试中能实现什么?
  6. 为什么概率性机器学习系统的功能性能测试不止于简单的“通过/失败”?

对抗性测试

  1. 如何以黑盒测试的方式进行对抗测试?
  2. 将对抗性输入从等效模型迁移到原始模型,基于什么假设?
  3. 对抗测试可以如何进行?

困难

ML 模型风险

  1. 模型更新后,某团队报告:新模型在部署后立即崩溃,而在另一个版本中,之前正确的情形不再正常工作。哪些缓解措施适合这两个风险?
  2. 以下哪些模型风险与缓解措施的对应关系是正确的?
  3. 某聊天机器人偶尔会给出危险的指引,并泄露个人数据。哪种缓解措施适合这些风险?
  4. 某团队对一个新模型既没有测试预言,也没有精确的需求。哪些缓解措施适合这两个风险?

模型文档

  1. 在评审模型文档时发现,缺少测试数据集的细节、测试的独立性以及对抗性测试活动。文档的哪一部分不完整,影响了哪个评审目标?
  2. 以下哪些 ML 模型文档的内容与所属部分的对应关系是正确的?
  3. 某团队要以标准化的方式向监管机构描述一个高风险系统的模型和训练数据。哪些文档框架适合,分别用于什么?
  4. 为什么对模型文档做彻底评审,对不被视为高风险的系统也有用?

功能性能测试

  1. 对于“准确率 98%,误差范围 ±4%,置信水平 95%”这一标准,计划并全部执行了 601 个测试用例,其中 580 个通过。该标准是否达成?
  2. 对于某个安全关键系统,适用“99% 可靠性,95% 置信度”。以下哪些说法是正确的?
  3. 在 601 个测试用例之后,观测到的准确率为 98%。在 95% 置信水平下,实测的误差范围是怎样的?
  4. 某团队对“准确率 98%,±4%,95% CL”这一标准采用序贯测试,观测到的准确率始终保持在 98% 或更高。测试大约何时可以停止?
  5. 某团队用训练数据集中的一个样本来测量模型的准确率,并报告“96% ±3%,95% CL”。应批评什么?
  6. 以下哪种测试报告适合概率性 ML 系统?
  7. 某干系人验收时只要求“准确率 ≥ 95%”。要成为统计上定义的验收标准还缺什么,它有什么用?
  8. 项目经理问,对于“准确率 98%,±4%,95% CL”,尽管模型反正能达到约 98%,为什么还要计划多达 601 个测试用例。原因是什么?

对抗性测试

  1. 某团队只有某供应商图像模型的 API 访问权限,想测试它的对抗样本。哪些方法是可行的?
  2. 一个交通标志识别器在几个像素被改动后把停车标志误分类,而这些改动人眼几乎看不出来。以下哪些说法是正确的?
  3. 某开发团队可以完全访问其模型的架构、参数和训练过程。这时对抗性测试通常哪种方法更容易?
  4. 某公司两年前做过一次对抗性测试,就认为这个问题已经解决。有什么理由反对这种看法?

认证与考试

下一个考试是什么?

已有 51 项考试可以练习,16 项正在投票中。查看所有认证及官方信息,投出你的一票,或推荐你的考试。

查看全部认证