ISTQB CT-AI
质量特性与验收标准
简单
ISO/IEC 25059 规定的质量特性
- 哪项标准用AI特有的方面扩展了ISO/IEC 25010的质量模型?
- ISO/IEC 25059从哪两个视角评估基于AI的系统?
- 为什么要针对基于AI的系统调整功能正确性这一特性?
- 质量特性功能适应性描述的是什么?
- 哪个质量特性描述了人或其他系统能够及时介入AI系统的运行?
- 在2023年版的ISO/IEC 25010中,哪个术语取代了原来所说的易用性?
- 质量特性透明性在基于AI的系统中指的是什么?
- 质量特性AI鲁棒性描述的是什么?
- 哪个质量特性描述了操作员能多好地及时介入AI系统以避免损害或危险?
- 质量特性社会与伦理风险缓解属于哪个视角?
AI 与安全
- 安全相关系统有什么特点?
- 许多基于AI的系统的需求是如何隐式提供的?
- 哪个工具是可解释AI技术的示例?
- 欧盟AI法案如何对用作安全组件的AI系统(例如在航空、医疗器械或车辆中)进行分类?
- 成熟的国际功能安全标准如何处理AI?
验收标准
中等
ISO/IEC 25059 规定的质量特性
- 与ISO/IEC 25010相比,ISO/IEC 25059中哪些质量特性是新增或经修改的?
- 功能适应性作为新的子特性被归入哪个父特性?
- AI鲁棒性作为新的子特性被归入哪个父特性?
- 可干预性作为新的子特性被归入哪个父特性?
- 透明性作为新的子特性被归入哪些父特性?
- 在哪些情况下,鲁棒的AI系统应保持其功能正确性?
- “社会和伦理风险缓解”这一特性涵盖哪些方面?
- ISO/IEC 25059的质量特性如何影响测试?
AI 与安全
- AI给与安全相关的系统带来了哪些额外挑战?
- 就非确定性而言,是什么会导致即使经过严格测试的AI模型也出现意外行为?
- 为什么自学习会削弱系统的安全论证?
- 以下哪项是自学习系统安全防护措施的例子?
- 像LIME这样的可解释AI技术有哪些局限?
验收标准
困难
ISO/IEC 25059 规定的质量特性
- 某业务部门对一个 ML 分类系统提出要求:“系统不得产生任何一次错误分类。”应如何评价这一要求?
- 一个图像识别系统在干净的测试图像上结果良好,但在带有轻微噪声或经过刻意篡改的图像上错误很多。哪项质量特性存在不足?
- 一个信贷系统拒绝了申请,而申请人和办事人员都不知道使用的是哪个版本的哪个模型,也不知道训练数据来自何处。哪项质量特性受到影响?
- 用户可控性与可干预性有何区别?
- 根据 ISO/IEC 25059,以下哪些质量特性与视角的对应关系是正确的?
- 一个推荐系统在运行中会适应新的用户趋势,但在面对被操纵的评分时准确率下降。这里需要在哪些特性之间进行权衡?
AI 与安全
- 一家制造商想为基于 AI 的制动辅助系统证明从需求到实现的可追溯性。为什么这很困难?
- 一个经过严格测试的工业控制系统 AI 模型,在现场对几乎相同的输入反应不同。这里体现的是哪项挑战?
- 控制中心的一个自学习助手在部署前经过了全面测试。哪些措施有助于避免运行中出现危险行为?
- 一个团队想在安全相关的 AI 系统中使用 LIME,使决策可追溯。必须考虑什么?
- 一家医疗器械制造商想把一个 AI 模块用作安全组件,并且完全依赖一项成熟的功能安全标准。存在哪些问题?
- 为什么开发含 AI 的安全相关系统比不含 AI 的更难?
验收标准
- 一条验收标准写道:“当传感器的视觉性能下降超过 30% 时,农场控制系统会通知农户并允许立即手动接管;若没有响应,则从 50% 起完全停用。”它属于哪项特性?
- 哪些验收标准检验 AI 鲁棒性?
- 哪些验收标准检验可干预性?
- 一座核电站的验收标准要求,ML 模型 100% 的输入输出关系都能由可解释性工具映射,平均准确度至少为 99.9%。它属于哪个领域?
- 一个量刑系统的验收标准要求,它不得依据指定的公平性指标歧视不同人群。关于这一点,以下哪些说法是正确的?
- 一位项目经理想像经典软件那样,用“通过/失败”的单个测试用例来进行 AI 系统的验收。有哪些理由反对?
- 哪条验收标准适合用于发动机管理系统的功能适应性?
- 一个缺陷预测系统应将至少 90% 实际有缺陷的模块识别为有缺陷。关于这一点,以下哪些说法是正确的?