MSMuhammad Shahid

免费工具 · 在浏览器中运行

LLM Token 计数器

粘贴文本,估算其 Token 数,查看字数和字符数,并了解它会占用模型上下文窗口的多少。

估计 Token 数0
词数0
字符数0
行数0
占 200K 上下文的比例0.00%
占 1M 上下文的比例0.00%

这是估计值:不同模型的实际计数不同(通常相差 10% 到 35%)。如需准确数字,请使用服务商的 Token 计数 API。

快速解答

AI 模型以 Token(词的片段)读取文本。英文中 1 个 Token 大约是 4 个字符或四分之三个单词;代码、数字和中文等其他语言通常占用更多。每个模型系列都有自己的分词器,所以本工具给出的是估算值。如需准确数字,请使用服务商的 Token 计数 API,例如 Anthropic 的 count_tokens 接口。

使用方法

  1. 粘贴文本. 提示词、文档或对话。
  2. 查看估算. 得到估计 Token 数、词数、字符数和行数。
  3. 检查上下文窗口. 查看文本占 200K 或 1M Token 上下文的比例。

示例

一句简短的英文(约每 4 个字符 1 个 token):

输入

The quick brown fox jumps over the lazy dog.

输出

估算 token:11
单词:9
字符:44
行数:1
200K 上下文:0.01%

常见错误及解决方法

prompt is too long / context_length_exceeded
提示词、对话和要求的输出加起来超出了上下文窗口。删减或总结旧消息,或只发送文档中相关的部分。
回答到一半就停了(stop_reason: max_tokens)
达到了输出上限。调高 max_tokens,或要求更短的回答。
账单比计数高很多
计数只算了一条消息,但系统提示词和整段对话在每次请求中都会重新发送。要把这些都算进去。
估算值和 API 返回的不一样
每个模型都有自己的分词器。需要精确数字时,请使用服务商的 token 计数接口。

常见问题

一个词等于多少 Token?

英文平均每个单词约 1.3 个 Token,或每个 Token 约 4 个字符。中文、其他语言和代码会更多。

为什么不同模型的 Token 数不同?

每个模型系列使用自己的分词器,切分文本的方式不同。同一段文本在不同模型间可能相差 10% 到 35%。

如何准确计算 Token?

使用服务商自己的分词器或 Token 计数 API;Claude 的 Messages API 提供 count_tokens 接口。

什么是上下文窗口?

模型在一次请求中能读取的最大 Token 数,包括提示词、对话和它的回答。

我的文本会被上传吗?

不会。估算在你的浏览器中完成。

空格和标点算 Token 吗?

算。它们是分词器切分文本的一部分,通常会与后面的词连在一起。

为什么中文或希伯来语文本会用更多 Token?

分词器主要用英文文本训练,所以其他文字会被切成更小的片段,表达同样的意思需要更多 Token。

图片也算 Token 吗?

算。能读取图片的模型也会把图片转换为 Token,数量取决于图片尺寸。本工具只估算文本。

输出 Token 也计入上下文窗口吗?

计入。提示词、对话以及模型的回答(包括思考过程)都必须放得进上下文窗口。

如何减少提示词的 Token 数?

删除重复内容和不必要的示例,只发送文档中相关的部分,并对重复出现的长文本使用提示词缓存。

来源

相关内容

同类更多工具