ISTQB CT-AI

输入数据测试

60 道题

简单

输入数据风险

  1. 输入数据测试的目标是什么?
  2. 哪种缓解措施适用于“训练数据来自不可信来源”这一风险?
  3. 哪种缓解措施适用于次优的特征选择?

偏见测试

  1. ML 系统中的偏见(bias)是指什么?
  2. ML 系统中偏见的两个主要来源是什么?
  3. 下列哪一项是算法偏见的例子?
  4. 在差异影响分析中,反事实(counterfactuals)是什么?

数据管道与代表性

  1. 测试数据管道的分层方法从什么开始?
  2. 对完整组装的数据管道进行系统测试从什么开始?
  3. 与运行型管道不同,训练管道的测试通常侧重于什么?
  4. 数据代表性测试要确定什么?
  5. 数据代表性测试应在何时进行?
  6. 在代表性测试中,哪些正式统计检验适合用来比较分布?

数据集与标签检查

  1. 数据集约束测试检查什么?
  2. 哪种约束检查某个值是否位于给定范围内?
  3. 为什么数据集约束测试通常要自动化?
  4. 在哪种机器学习中,标签正确性尤为重要?
  5. 在多重标注中会发生什么?
  6. 可以用哪些指标衡量标注者间一致性(IAA)?
  7. 哪种约束检查属性值是否符合指定的数据类型,例如整数而不是字符串?

中等

输入数据风险

  1. 哪些缓解措施有助于应对被投毒的训练数据?
  2. 数据集约束测试有助于应对哪些风险?
  3. 数据代表性测试有助于应对哪些风险?

偏见测试

  1. 哪些测试方法适合用于检测偏见?
  2. 动态测试如何帮助检测机器学习模型中的偏见?
  3. 差别影响分析(disparate impact analysis)的步骤按什么顺序进行?
  4. 在对敏感属性组合以及不现实的样本进行差别影响分析时,必须考虑什么?
  5. 在测试偏见时,对数据集文档的评审检查什么?

数据管道与代表性

  1. 在数据管道的组件测试中检查什么?
  2. 数据管道的故障注入测试(fault injection testing)衡量什么?
  3. 在数据管道的系统测试中,背靠背测试(back-to-back testing)用于什么?
  4. 在测试数据管道时,配置管理评审用于什么?
  5. 数据代表性测试包含哪三个主要步骤?
  6. 在定义目标总体时,如何确定预期的运行数据分布和关键边缘情况?

数据集与标签检查

  1. 哪些约束属于多值约束?
  2. “有用”(useful)约束检查什么?
  3. 哪些约束属于比较约束?
  4. 较低的标注者间一致性(IAA)分数可能表明什么?
  5. 模型训练期间损失较高的数据点可能表明什么?
  6. 已训练模型对某个数据点的预测置信度较低,可能意味着什么?

困难

输入数据风险

  1. 某团队发现,在一个转换脚本被不受控地更新后,数据管道输出了错误的值,并且在运行中变慢。哪种缓解措施适合这些风险?
  2. 以下哪些输入数据风险与缓解措施的对应关系是正确的?

偏见测试

  1. 要检查一个信贷模型是否存在偏见。团队生成了除性别外完全相同的申请,并在大量测试中发现决策存在显著差异。以下哪些说法是正确的?
  2. 在针对抵押贷款的差别影响分析中,测试人员在反事实申请中把年龄改为五岁。问题出在哪里?
  3. 某个求职者筛选系统对女性求职者不利,因为训练数据来自一个几乎不招女性的时期。以下哪些说法是正确的?
  4. 某团队想知道其模型是否会产生有偏见的结果,但不清楚原因出在数据还是模型开发上。哪种方法能不论原因如何都检测出偏见?

数据管道与代表性

  1. 以下哪些管道测试与测试级别的对应关系是正确的?
  2. 要在不降低实时数据流质量的前提下引入运行管道的新版本。哪些生产环境测试适合这一目的?
  3. 某团队用相同的策略测试探索性原型的训练管道和产品的运行管道。怎样做更好?
  4. 一个皮肤癌分类器只用了一家诊所的图像训练,却要在全国范围使用。这里哪些代表性测试步骤是合适的?
  5. 在一次成功的代表性测试之后,模型完成了训练并部署。在运行中还需要做什么?

数据集与标签检查

  1. 在一个选举结果数据集中,某选区所有政党的得票率加起来是 104%,而本应恰好是 100%。哪种约束能检测出这个缺陷?
  2. 一个客户数据集中有“age = −3”和“age = thirty”这两条记录,另有一位客户的年龄完全缺失。哪些约束能检测出这些缺陷?
  3. 一个训练数据集中有“customer number”列,其中全是唯一值,另外还有几行几乎相同的数据。这里会触发哪些约束?
  4. 在一个关于软件模块的数据集中,某个模块的缺陷代码行数比其代码总行数还多。哪种约束能检测出这一点?
  5. 有一条规则规定:所有成绩比平均值高出至少 1.33 个标准差的学生,其等级都是“A”。这属于哪种约束,又属于哪一组?
  6. 某团队的预算只够让专家审核 100,000 张图像中的一小部分。应该优先审核哪些图像?
  7. 要自动检查目标检测数据集中的边界框。哪种方法和哪条规则适合?
  8. 某团队想在整个项目期间确保标签质量。哪种组合通常最有效?
  9. 某团队有一个新的带标签交通场景数据集,并知道一个可比的公开数据集。“行人”标签所占比例是对比数据集的五倍。这是哪种方法,由此可以得出什么?

认证与考试

下一个考试是什么?

已有 51 项考试可以练习,16 项正在投票中。查看所有认证及官方信息,投出你的一票,或推荐你的考试。

查看全部认证