训练基础模型 · 第 11 题,共 12 题
某制药公司有 200 万篇未标注的专业文章和 3,000 对经过审核的问答对。模型应当理解专业语言,并以公司格式回答问题。哪种顺序是合理的?
有 1 个正确答案。 困难 由 AI 生成
显示答案
答案
- A 先用这些文章进行持续预训练,再用问答对进行微调
解析
未标注的领域文本适合持续预训练,从而传达专业语言。之后再用带标注的问答对针对格式和任务进行微调。仅用 3,000 个示例重新预训练完全不够。
训练基础模型 · 第 11 题,共 12 题
有 1 个正确答案。 困难 由 AI 生成
未标注的领域文本适合持续预训练,从而传达专业语言。之后再用带标注的问答对针对格式和任务进行微调。仅用 3,000 个示例重新预训练完全不够。