ISTQB CT-AI

机器学习开发与部署测试

60 道题

简单

ML 开发风险

  1. ML 开发测试侧重于什么?
  2. 哪种缓解措施有助于应对对 TensorFlow 或 PyTorch 等库或框架 API 的错误或非预期使用?
  3. 哪种缓解措施有助于应对框架安装或构建有缺陷?
  4. 哪种缓解措施有助于应对框架的易用性差?
  5. 哪种缓解措施有助于应对框架中的安全漏洞?
  6. 哪种缓解措施有助于应对次优的框架选择?
  7. 哪种缓解措施有助于应对框架的用户文档质量差?
  8. 哪种缓解措施有助于应对数据在训练、验证和测试数据集之间的分配有缺陷?
  9. 哪种测试能在全面部署前显示新模型是否比当前模型有改进?
  10. 哪种缓解措施有助于应对性能效率差,例如框架响应缓慢?

部署测试

  1. 可安装性测试检查什么?
  2. 回滚测试检查什么?
  3. 回滚测试必须在何时进行?
  4. 什么是金丝雀测试?
  5. 什么是影子测试?
  6. 模型转换测试检查什么?
  7. 跨设备测试检查什么?
  8. 部署 ML 系统时,API 测试检查什么?
  9. 部署时,ML 系统必须在哪些目标环境中正确可靠地运行?
  10. 金丝雀测试中监控哪些实时指标?

中等

ML 开发风险

  1. 哪些缓解措施有助于应对框架对评估的错误实现?
  2. 哪些缓解措施有助于应对框架所用库中的缺陷或算法实现错误?
  3. 哪些缓解措施有助于应对次优的算法选择?
  4. 哪些缓解措施有助于应对次优的超参数选择,例如网络结构或学习率?
  5. 哪种缓解措施有助于应对评估方法(例如 k 折交叉验证)选择不当?
  6. 哪些缓解措施有助于应对部署缺陷,例如为目标平台生成修改版本时产生的缺陷?
  7. 如果已部署的模型与运行环境不兼容,哪些缓解措施有帮助?
  8. 哪种缓解措施有助于应对算法、模型或框架中引入系统性不公平的问题?
  9. 为什么机器学习功能性能测试有助于应对对测试结果的错误解读?
  10. 冒烟测试有助于应对哪些风险?
  11. 在机器学习开发测试中,哪些测试类型用于验证稳健性和效率?

部署测试

  1. 在对机器学习系统进行可安装性测试时,除其他内容外还检查什么?
  2. 回滚测试可以覆盖什么?
  3. 影子测试(shadow testing)可以在完全部署之前发现哪些缺陷?
  4. 除预测准确率之外,模型转换测试还检查什么?
  5. 在对机器学习系统进行 API 测试时,集成工作流要与哪些外部系统一起检查?
  6. 金丝雀测试与影子测试有何区别?
  7. 金丝雀测试的目标是什么?
  8. 一个模型已从训练格式转换为适用于智能手机的紧凑运行时格式。哪种部署测试适用于此情形?
  9. 某机器学习系统要在 Android 智能手机、工厂的边缘设备和云服务器上运行。哪种部署测试尤其相关?

困难

ML 开发风险

  1. 某团队怀疑某个框架的指标计算给出了错误的 F1 值。哪些缓解措施适合这一风险?
  2. 某次 PyTorch 更新之后,同一模型使用相同数据却给出了不同的结果。存在哪种风险,哪些缓解措施适合?
  3. 某团队发现一些记录同时出现在训练数据集和测试数据集中。存在哪种风险,哪种缓解措施适合?
  4. 两次配置相同的训练运行得到的准确率略有不同,某开发人员据此对超参数的更改得出了影响深远的结论。适合哪种风险和哪种缓解措施?
  5. 以下哪些 ML 开发中的风险与缓解措施的对应关系是正确的?
  6. 某团队选择了 k 折交叉验证,但划分不合适,却认为结果可靠。哪种缓解措施有助于应对这一开发风险?
  7. 为目标平台生成改编后的模型版本时出现了错误。哪些缓解措施适合?
  8. 某团队选择的框架不适合计划在边缘设备上的使用,而且响应也太慢。哪些缓解措施适合?
  9. 某开发人员调用 ML 库的函数时把参数顺序弄反了,却没有报告任何错误。存在哪种风险,哪种缓解措施适合?

部署测试

  1. 某银行想用实时交易来比较一个新的欺诈检测模型,同时又不让客户受到新模型可能做出的错误决策的影响。哪种部署测试合适?
  2. 某在线零售商想逐步引入一个新的推荐模型,并在所有用户都用上之前尽早发现回归。哪种部署测试合适,它是如何工作的?
  3. 某团队打算只在部署真正失败之后才检查回滚。对此应怎么说?
  4. 模型更新失败之后,数据管道也要重置到之前的状态。以下哪些关于回滚测试的说法是正确的?
  5. 某模型为边缘设备做了压缩,并转换成另一种格式。它在设备上更快了,但有些预测出现了偏差。哪种测试涵盖这一点,它检查什么?
  6. 某 ML 系统因为缺少合适的 GPU 驱动而无法在新服务器上启动。本应由哪种部署测试发现这一点?
  7. 某模型在云端运行正常,但在较旧的智能手机上出错。哪种部署测试应对这一风险?
  8. 某客户反馈,某个 ML 服务的接口对错误输入没有返回可理解的错误信息,并且不符合标准。哪种测试负责这一点,它涵盖什么?
  9. 某团队想用实时数据比较新旧模型,并在不影响用户的情况下检测数据漂移和性能回归。以下哪些说法是正确的?
  10. 以下哪些部署风险与部署测试的对应关系是正确的?
  11. 某公司计划分三步引入一个新模型:先并行运行而不影响用户,然后面向一小部分用户,最后面向所有人。哪些测试适合前两步?

认证与考试

下一个考试是什么?

已有 51 项考试可以练习,16 项正在投票中。查看所有认证及官方信息,投出你的一票,或推荐你的考试。

查看全部认证