ISTQB CT-AI
人工智能系统与生成式 AI 测试
简单
基于 AI 的系统测试基础
- 锁定的基于AI的系统有什么特点?
- 哪个是自适应的基于AI的系统的例子?
- 哪种类型的基于AI的系统要容易测试得多?
- 更新后的锁定的基于AI的系统通常如何对待?
- 为什么单个测试,例如一只猫被分类为狗,不能可靠地反映模型的功能正确性?
- 测试预言问题描述的是什么?
- 什么是代理预言?
- 哪个是通过定义输出边界来解决测试预言问题的例子?
生成式 AI 测试
- 测试生成式AI时,哪种测试方法很常见?
- 测试GenAI时,什么被称为“输入爆炸问题”?
- 测试生成式AI时,基准测试套件用于什么?
- 什么是红队测试(RT)?
- 为什么红队测试对生成式AI特别重要?
- 红队测试在什么时候最有效?
- 什么是蓝队测试?
测试级别与基于风险的测试
中等
基于 AI 的系统测试基础
- 许多GenAI系统(如基于LLM的聊天机器人)在锁定系统与自适应系统之间处于什么位置?
- 为什么即使是具有大型神经网络的锁定AI系统,在实践中也可能表现出非确定性行为?
- 自适应AI系统如何在部署前进行测试?
- 如何检查自适应AI系统在运行中的适应是否安全?
- 哪些理由支持对AI系统采用统计方法进行测试?
- 可以用哪些统计手段来量化模型的准确性、公平性和鲁棒性?
- 为什么必须测试来自运行数据的、具有统计显著性的场景样本?
- 是什么导致了AI系统中的测试预言问题?
- 针对测试预言问题有哪些方法?
- 为什么测试人员必须指定光照、温度或网络延迟等环境边界?
- 将咨询领域专家作为测试预言有什么局限?
生成式 AI 测试
- 测试生成式AI时评估什么?
- 除提示词外,还有哪些参数会影响GenAI系统的输出?
- 哪些非功能性度量与GenAI系统相关?
- 红队测试例如应当诱发哪些有害结果?
- 典型的红队测试方法包括哪些步骤?
- 在红队测试中,可以用哪些方法实现全面的覆盖?
测试级别与基于风险的测试
困难
基于 AI 的系统测试基础
- 一家汽车供应商使用固定的、已训练好的 DNN 进行交通标志识别,并在一年后部署了重新训练的模型。以下哪些说法是正确的?
- 一个团队在 GPU 上测试锁定的图像分类模型,在极少数情况下,对相同输入会得到略有不同的输出。应如何归类这种情况?
- 一位测试人员被要求提前为自适应推荐系统所有未来的行为编写测试用例。对此应怎么看?
- 为什么在部署前测试自适应 AI 系统比测试锁定系统更复杂?
- 一个团队用 20 张测试图像检查了一个图像模型,全部分类正确,现在想报告“100% 正确”。有哪些理由反对?
- 一家医疗 AI 系统的制造商必须向监管机构证明满足了公平性阈值。以下哪些说法是正确的?
- 一个测试虚拟助手的团队无法就“正确”的回答达成一致,因为用户的期望差异很大。这里存在测试预言问题的哪种成因,什么办法有帮助?
- 对于一个图像分类模型,有许多未标注的测试图像,但没有预期结果。哪种方法合适?
- 一个自学习的定价系统在验收时有一组预期结果。几周后,这些测试中有许多失败,尽管系统运行良好。原因是什么?
- 一个评估复杂蛋白质结构的模型给出的结果,人类几乎无法验证。以下哪些说法是正确的?
生成式 AI 测试
- 一个团队让图像识别系统自动检查图像生成器生成的图像。关于这一点,以下哪些说法是正确的?
- 一位测试人员发现,聊天机器人对同一个用户提示词,根据会话的不同给出不同的回答。哪些因素可能是原因?
- 如果手动审查输出,测试 GenAI 时如何判定“通过”或“失败”?
- 一家公司想在上线前通过红队测试检查集成了 RAG 的 LLM 是否存在安全漏洞。应考虑哪些攻击?
- 要通过红队测试检查一个医疗聊天机器人的安全性(safety)。与安全(security)红队测试不同,它的目标是什么?
- 红队测试与基准测试是什么关系?
- 一个团队只为安全规划红队测试。红队测试还可以覆盖哪些其他领域,监管起什么作用?