生成式 AI 基础概念 · 第 1 题,共 12 题
对语言模型来说,token 是什么?
有 1 个正确答案。 简单 由 AI 生成
显示答案
答案
- A 作为文本单位的一个词或词的一部分
解析
语言模型把文本拆分为 token,即词、词的一部分或标点符号。输入和输出都以 token 计量,上下文窗口的上限以及价格通常也是如此。一个词可能由多个 token 组成。
生成式 AI 基础概念 · 第 1 题,共 12 题
有 1 个正确答案。 简单 由 AI 生成
语言模型把文本拆分为 token,即词、词的一部分或标点符号。输入和输出都以 token 计量,上下文窗口的上限以及价格通常也是如此。一个词可能由多个 token 组成。