跳转到内容

AI、AGENT 与上下文 · DEFINED TERM

Token

模型读取和生成文字时使用的计量片段,不等同于字或字符。

你可能会这样说“这份上下文大概会占多少模型额度”

VISUAL EXAMPLE

先看懂它怎么工作

INPUT这份上下文大概会占多少模型额度
文本被分词
Token 进入模型
输出按 Token 逐步生成与计费
CHECK通过实际分词器或接口用量核对预算

MECHANISM

运行机制

  1. 文本被分词
  2. Token 进入模型
  3. 输出按 Token 逐步生成与计费

USE WHEN

适合这样用

估算上下文容量、延迟和成本

NOT FOR

不要这样理解

不要用固定的字数比例精确换算所有语言和模型

TELL YOUR AGENT

可直接发给 Agent

请按“Token”的概念处理这个需求:这份上下文大概会占多少模型额度。先说明实现边界,再给出可检查的结果。

ACCEPTANCE

怎么确认它真的做好了

通过实际分词器或接口用量核对预算

OFFICIAL SOURCES

官方来源