ISTQB CT-AI
机器学习开发与部署测试
简单
ML 开发风险
- ML 开发测试侧重于什么?
- 哪种缓解措施有助于应对对 TensorFlow 或 PyTorch 等库或框架 API 的错误或非预期使用?
- 哪种缓解措施有助于应对框架安装或构建有缺陷?
- 哪种缓解措施有助于应对框架的易用性差?
- 哪种缓解措施有助于应对框架中的安全漏洞?
- 哪种缓解措施有助于应对次优的框架选择?
- 哪种缓解措施有助于应对框架的用户文档质量差?
- 哪种缓解措施有助于应对数据在训练、验证和测试数据集之间的分配有缺陷?
- 哪种测试能在全面部署前显示新模型是否比当前模型有改进?
- 哪种缓解措施有助于应对性能效率差,例如框架响应缓慢?
部署测试
中等
ML 开发风险
- 哪些缓解措施有助于应对框架对评估的错误实现?
- 哪些缓解措施有助于应对框架所用库中的缺陷或算法实现错误?
- 哪些缓解措施有助于应对次优的算法选择?
- 哪些缓解措施有助于应对次优的超参数选择,例如网络结构或学习率?
- 哪种缓解措施有助于应对评估方法(例如 k 折交叉验证)选择不当?
- 哪些缓解措施有助于应对部署缺陷,例如为目标平台生成修改版本时产生的缺陷?
- 如果已部署的模型与运行环境不兼容,哪些缓解措施有帮助?
- 哪种缓解措施有助于应对算法、模型或框架中引入系统性不公平的问题?
- 为什么机器学习功能性能测试有助于应对对测试结果的错误解读?
- 冒烟测试有助于应对哪些风险?
- 在机器学习开发测试中,哪些测试类型用于验证稳健性和效率?
部署测试
困难
ML 开发风险
- 某团队怀疑某个框架的指标计算给出了错误的 F1 值。哪些缓解措施适合这一风险?
- 某次 PyTorch 更新之后,同一模型使用相同数据却给出了不同的结果。存在哪种风险,哪些缓解措施适合?
- 某团队发现一些记录同时出现在训练数据集和测试数据集中。存在哪种风险,哪种缓解措施适合?
- 两次配置相同的训练运行得到的准确率略有不同,某开发人员据此对超参数的更改得出了影响深远的结论。适合哪种风险和哪种缓解措施?
- 以下哪些 ML 开发中的风险与缓解措施的对应关系是正确的?
- 某团队选择了 k 折交叉验证,但划分不合适,却认为结果可靠。哪种缓解措施有助于应对这一开发风险?
- 为目标平台生成改编后的模型版本时出现了错误。哪些缓解措施适合?
- 某团队选择的框架不适合计划在边缘设备上的使用,而且响应也太慢。哪些缓解措施适合?
- 某开发人员调用 ML 库的函数时把参数顺序弄反了,却没有报告任何错误。存在哪种风险,哪种缓解措施适合?
部署测试
- 某银行想用实时交易来比较一个新的欺诈检测模型,同时又不让客户受到新模型可能做出的错误决策的影响。哪种部署测试合适?
- 某在线零售商想逐步引入一个新的推荐模型,并在所有用户都用上之前尽早发现回归。哪种部署测试合适,它是如何工作的?
- 某团队打算只在部署真正失败之后才检查回滚。对此应怎么说?
- 模型更新失败之后,数据管道也要重置到之前的状态。以下哪些关于回滚测试的说法是正确的?
- 某模型为边缘设备做了压缩,并转换成另一种格式。它在设备上更快了,但有些预测出现了偏差。哪种测试涵盖这一点,它检查什么?
- 某 ML 系统因为缺少合适的 GPU 驱动而无法在新服务器上启动。本应由哪种部署测试发现这一点?
- 某模型在云端运行正常,但在较旧的智能手机上出错。哪种部署测试应对这一风险?
- 某客户反馈,某个 ML 服务的接口对错误输入没有返回可理解的错误信息,并且不符合标准。哪种测试负责这一点,它涵盖什么?
- 某团队想用实时数据比较新旧模型,并在不影响用户的情况下检测数据漂移和性能回归。以下哪些说法是正确的?
- 以下哪些部署风险与部署测试的对应关系是正确的?
- 某公司计划分三步引入一个新模型:先并行运行而不影响用户,然后面向一小部分用户,最后面向所有人。哪些测试适合前两步?