ISTQB CT-AI
机器学习指标与神经网络
简单
ML 功能性能指标
- 混淆矩阵在分类中区分哪四种情形?
- 如果以“垃圾邮件”为正类,假正例(FP)对垃圾邮件过滤器意味着什么?
- 准确率如何计算?
- 精确率如何计算?
- 召回率如何计算?
- 召回率还有哪个别名?
- F1分数是如何定义的?
- 某分类器得到TP = 40、TN = 50、FP = 5、FN = 5。准确率是多少?
- 某模型把40个案例预测为正,其中30个实际为正。精确率是多少?
- 某测试数据集包含50个实际为正的案例,模型把其中45个识别为正。召回率是多少?
- 为什么分类模型很少能始终全部预测正确?
神经网络
中等
ML 功能性能指标
- 某分类器给出TP = 80、FP = 20、FN = 40和TN = 860。精确率和召回率分别是多少?
- 某模型的精确率为80%,召回率为60%。F1分数(四舍五入)是多少?
- 某分类器给出TP = 90、FP = 30、FN = 10和TN = 70。哪些值是正确的?
- 精确率回答的是哪个问题?
- 低F1分数意味着什么?
- 某早期癌症检测模型应尽可能少地漏掉实际病例。应优先考虑哪个指标?
- 垃圾邮件过滤器应尽可能少地把重要邮件误当作垃圾邮件筛掉。应优先考虑哪个指标(垃圾邮件 = 正类)?
- F1分数的取值范围是什么?
- 某模型给出TP = 45、FP = 5、FN = 15和TN = 35。哪些值是正确的?
- 关于混淆矩阵的呈现方式,哪项说法是正确的?
- 某模型给出TP = 60、FP = 40、FN = 20和TN = 880。准确率是多少?
神经网络
困难
ML 功能性能指标
- 1,000 笔交易中有 10 笔是欺诈。某模型把所有交易都分类为“非欺诈”(欺诈 = 正类)。以下哪些说法是正确的?
- 某模型在 1,000 个案例上得到 TP = 8,FP = 2,FN = 2,TN = 988。以下哪些值是正确的?
- 模型 A 的精确率为 90%、召回率为 50%,模型 B 的精确率为 70%、召回率为 70%。哪个模型的 F1-score 更高?
- 某模型把全部 1,000 个案例都分类为正类;其中实际为正类的有 50 个。会得到哪些值?
- 某模型的召回率为 90%。测试数据集包含 200 个实际为正类的案例。其中有多少被模型漏掉了?
- 某模型把 50 个案例预测为正类,精确率为 80%。其中包含多少个误报(假阳性)?
- 下面给出一个坐标轴互换的混淆矩阵:“实际为正类”一行:70 个预测为正类,30 个预测为负类;“实际为负类”一行:10 个预测为正类,890 个预测为负类。以下哪些值是正确的?
- 在欺诈检测中,漏掉的欺诈案例和误报的代价都很高。哪种指标适合作为单一的汇总标准?
- 某模型得到 TP = 50,FP = 50,FN = 0,TN = 900。以下哪些值是正确的?
神经网络
- 单层感知机可以学会哪种逻辑函数?
- 训练神经网络的各个步骤按什么顺序进行?
- 两个其他方面完全相同的网络仅激活函数不同。这意味着什么?
- 关于深度神经网络,以下哪些说法是正确的?
- 某网络有 200 个神经元。测试期间,其中 150 个神经元的输出超过了指定的阈值。神经元覆盖率是多少?
- 某网络有 10 个神经元,每个神经元的输出范围被划分为 k = 4 个区段。测试期间有 28 个区段被激活。kMNC 是多少?
- 在一个有 50 个神经元的网络中,测试期间有 5 个神经元的输出落在训练时观察到的范围之外(高于最大值或低于最小值)。会得到哪种度量,值是多少?
- 某测试套件达到了 100% 的神经元覆盖率,但模型在现场面对轻微旋转的图像时仍然失败。有哪些解释和后果?
- 测试评估显示,某隐藏层中的一组神经元从未被激活。测试人员应如何应对?
- 一个团队想检查其测试是否也覆盖了超出训练中所观察到的神经元输出的行为。哪种覆盖率度量最合适?
- 一位测试经理想把经典的语句覆盖和分支覆盖作为神经网络的主要度量。有哪些理由反对?