定制模型 · 第 12 题,共 12 题
某团队在每个提示中附加 30 个示例,以便模型遵循特定格式。每月调用数百万次,令牌成本变得很高。哪些做法是合理的?
有 2 个正确答案。 困难 由 AI 生成
显示答案
答案
- C 针对该格式对模型进行微调
- E 使用提示缓存缓存不变的示例块
解析
在高调用量下,微调可能划算,因为之后不再需要在每个提示中携带示例。提示缓存可降低重复出现的那部分内容的成本。更多示例会进一步推高成本,而自行预训练则完全不成比例。
定制模型 · 第 12 题,共 12 题
有 2 个正确答案。 困难 由 AI 生成
在高调用量下,微调可能划算,因为之后不再需要在每个提示中携带示例。提示缓存可降低重复出现的那部分内容的成本。更多示例会进一步推高成本,而自行预训练则完全不成比例。