ISTQB CT-AI
机器学习模型测试:风险、性能、攻击
简单
ML 模型风险
- 哪种缓解措施适用于“对抗样本”这一风险?
- 哪种缓解措施有助于应对不可接受的数据漂移或概念漂移?
- 如果部署更新后的模型可能立即导致失败,哪种缓解措施有帮助?
- 哪种缓解措施有助于应对 ML 模型的性能效率不足?
- 哪种缓解措施有助于应对模型文档质量差?
- 哪种缓解措施有助于应对模型 API 中的缺陷?
模型文档
- 为什么 ML 模型的文档如此重要?
- 什么是模型卡(model cards)?
- “datasheets for datasets”描述什么?
- 文档审核对高风险系统起什么作用?
- 部署计划、监控指标和回滚计划属于 ML 模型文档的哪个部分?
功能性能测试
对抗性测试
中等
ML 模型风险
- 机器学习模型测试应对哪些类型的风险?
- 哪些缓解措施有助于应对机器学习模型的测试预言问题(test oracle problem)?
- 哪些缓解措施有助于应对糟糕的系统需求?
- 哪些缓解措施有助于应对因意外输入而导致的模型稳健性不足?
- 哪些缓解措施适用于引入缺陷或降低功能性能的模型更新?
- 红队测试有助于应对哪些风险?
- 哪些缓解措施适用于“模型产生副作用”和“模型出现奖励作弊(reward hacking)”这两种风险?
模型文档
功能性能测试
- 对概率性机器学习系统进行功能性能测试的前提条件是什么?
- 当置信水平固定时,随着测试数量增加会发生什么?
- 当误差范围固定时,随着测试数量增加会发生什么?
- 要在所有条件下确认“98% 的准确率,误差范围 ±4%,置信水平 95%”,需要多少个测试用例?
- 序贯测试(sequential testing)在功能性能测试中能实现什么?
- 为什么概率性机器学习系统的功能性能测试不止于简单的“通过/失败”?
对抗性测试
困难
ML 模型风险
- 模型更新后,某团队报告:新模型在部署后立即崩溃,而在另一个版本中,之前正确的情形不再正常工作。哪些缓解措施适合这两个风险?
- 以下哪些模型风险与缓解措施的对应关系是正确的?
- 某聊天机器人偶尔会给出危险的指引,并泄露个人数据。哪种缓解措施适合这些风险?
- 某团队对一个新模型既没有测试预言,也没有精确的需求。哪些缓解措施适合这两个风险?
模型文档
- 在评审模型文档时发现,缺少测试数据集的细节、测试的独立性以及对抗性测试活动。文档的哪一部分不完整,影响了哪个评审目标?
- 以下哪些 ML 模型文档的内容与所属部分的对应关系是正确的?
- 某团队要以标准化的方式向监管机构描述一个高风险系统的模型和训练数据。哪些文档框架适合,分别用于什么?
- 为什么对模型文档做彻底评审,对不被视为高风险的系统也有用?
功能性能测试
- 对于“准确率 98%,误差范围 ±4%,置信水平 95%”这一标准,计划并全部执行了 601 个测试用例,其中 580 个通过。该标准是否达成?
- 对于某个安全关键系统,适用“99% 可靠性,95% 置信度”。以下哪些说法是正确的?
- 在 601 个测试用例之后,观测到的准确率为 98%。在 95% 置信水平下,实测的误差范围是怎样的?
- 某团队对“准确率 98%,±4%,95% CL”这一标准采用序贯测试,观测到的准确率始终保持在 98% 或更高。测试大约何时可以停止?
- 某团队用训练数据集中的一个样本来测量模型的准确率,并报告“96% ±3%,95% CL”。应批评什么?
- 以下哪种测试报告适合概率性 ML 系统?
- 某干系人验收时只要求“准确率 ≥ 95%”。要成为统计上定义的验收标准还缺什么,它有什么用?
- 项目经理问,对于“准确率 98%,±4%,95% CL”,尽管模型反正能达到约 98%,为什么还要计划多达 601 个测试用例。原因是什么?