生成式 AI 基础概念 · 第 1 题,共 12 题

对语言模型来说,token 是什么?

有 1 个正确答案。 简单 由 AI 生成

显示答案

答案

  • A 作为文本单位的一个词或词的一部分

解析

语言模型把文本拆分为 token,即词、词的一部分或标点符号。输入和输出都以 token 计量,上下文窗口的上限以及价格通常也是如此。一个词可能由多个 token 组成。

认证与考试

下一个考试是什么?

已有 51 项考试可以练习,16 项正在投票中。查看所有认证及官方信息,投出你的一票,或推荐你的考试。

查看全部认证