ISTQB CT-AI
输入数据测试
简单
输入数据风险
偏见测试
数据管道与代表性
- 测试数据管道的分层方法从什么开始?
- 对完整组装的数据管道进行系统测试从什么开始?
- 与运行型管道不同,训练管道的测试通常侧重于什么?
- 数据代表性测试要确定什么?
- 数据代表性测试应在何时进行?
- 在代表性测试中,哪些正式统计检验适合用来比较分布?
数据集与标签检查
中等
输入数据风险
偏见测试
- 哪些测试方法适合用于检测偏见?
- 动态测试如何帮助检测机器学习模型中的偏见?
- 差别影响分析(disparate impact analysis)的步骤按什么顺序进行?
- 在对敏感属性组合以及不现实的样本进行差别影响分析时,必须考虑什么?
- 在测试偏见时,对数据集文档的评审检查什么?
数据管道与代表性
- 在数据管道的组件测试中检查什么?
- 数据管道的故障注入测试(fault injection testing)衡量什么?
- 在数据管道的系统测试中,背靠背测试(back-to-back testing)用于什么?
- 在测试数据管道时,配置管理评审用于什么?
- 数据代表性测试包含哪三个主要步骤?
- 在定义目标总体时,如何确定预期的运行数据分布和关键边缘情况?
数据集与标签检查
困难
输入数据风险
偏见测试
- 要检查一个信贷模型是否存在偏见。团队生成了除性别外完全相同的申请,并在大量测试中发现决策存在显著差异。以下哪些说法是正确的?
- 在针对抵押贷款的差别影响分析中,测试人员在反事实申请中把年龄改为五岁。问题出在哪里?
- 某个求职者筛选系统对女性求职者不利,因为训练数据来自一个几乎不招女性的时期。以下哪些说法是正确的?
- 某团队想知道其模型是否会产生有偏见的结果,但不清楚原因出在数据还是模型开发上。哪种方法能不论原因如何都检测出偏见?
数据管道与代表性
- 以下哪些管道测试与测试级别的对应关系是正确的?
- 要在不降低实时数据流质量的前提下引入运行管道的新版本。哪些生产环境测试适合这一目的?
- 某团队用相同的策略测试探索性原型的训练管道和产品的运行管道。怎样做更好?
- 一个皮肤癌分类器只用了一家诊所的图像训练,却要在全国范围使用。这里哪些代表性测试步骤是合适的?
- 在一次成功的代表性测试之后,模型完成了训练并部署。在运行中还需要做什么?
数据集与标签检查
- 在一个选举结果数据集中,某选区所有政党的得票率加起来是 104%,而本应恰好是 100%。哪种约束能检测出这个缺陷?
- 一个客户数据集中有“age = −3”和“age = thirty”这两条记录,另有一位客户的年龄完全缺失。哪些约束能检测出这些缺陷?
- 一个训练数据集中有“customer number”列,其中全是唯一值,另外还有几行几乎相同的数据。这里会触发哪些约束?
- 在一个关于软件模块的数据集中,某个模块的缺陷代码行数比其代码总行数还多。哪种约束能检测出这一点?
- 有一条规则规定:所有成绩比平均值高出至少 1.33 个标准差的学生,其等级都是“A”。这属于哪种约束,又属于哪一组?
- 某团队的预算只够让专家审核 100,000 张图像中的一小部分。应该优先审核哪些图像?
- 要自动检查目标检测数据集中的边界框。哪种方法和哪条规则适合?
- 某团队想在整个项目期间确保标签质量。哪种组合通常最有效?
- 某团队有一个新的带标签交通场景数据集,并知道一个可比的公开数据集。“行人”标签所占比例是对比数据集的五倍。这是哪种方法,由此可以得出什么?