# LLM Token 计数器

URL: https://byshahid.com/zh/tools/llm-token-counter/
Author: Muhammad Shahid (https://byshahid.com/)
免费工具 · 在浏览器中运行

粘贴文本，估算其 Token 数，查看字数和字符数，并了解它会占用模型上下文窗口的多少。

**快速解答:** AI 模型以 Token（词的片段）读取文本。英文中 1 个 Token 大约是 4 个字符或四分之三个单词；代码、数字和中文等其他语言通常占用更多。每个模型系列都有自己的分词器，所以本工具给出的是估算值。如需准确数字，请使用服务商的 Token 计数 API，例如 Anthropic 的 count_tokens 接口。

## 使用方法

1. **粘贴文本.** 提示词、文档或对话。
2. **查看估算.** 得到估计 Token 数、词数、字符数和行数。
3. **检查上下文窗口.** 查看文本占 200K 或 1M Token 上下文的比例。

## 示例

一句简短的英文（约每 4 个字符 1 个 token）：

输入:

```
The quick brown fox jumps over the lazy dog.
```

输出:

```
估算 token：11
单词：9
字符：44
行数：1
200K 上下文：0.01%
```

## 常见错误及解决方法

- **prompt is too long / context_length_exceeded**: 提示词、对话和要求的输出加起来超出了上下文窗口。删减或总结旧消息，或只发送文档中相关的部分。
- **回答到一半就停了（stop_reason: max_tokens）**: 达到了输出上限。调高 max_tokens，或要求更短的回答。
- **账单比计数高很多**: 计数只算了一条消息，但系统提示词和整段对话在每次请求中都会重新发送。要把这些都算进去。
- **估算值和 API 返回的不一样**: 每个模型都有自己的分词器。需要精确数字时，请使用服务商的 token 计数接口。

## 常见问题

### 一个词等于多少 Token？

英文平均每个单词约 1.3 个 Token，或每个 Token 约 4 个字符。中文、其他语言和代码会更多。

### 为什么不同模型的 Token 数不同？

每个模型系列使用自己的分词器，切分文本的方式不同。同一段文本在不同模型间可能相差 10% 到 35%。

### 如何准确计算 Token？

使用服务商自己的分词器或 Token 计数 API；Claude 的 Messages API 提供 count_tokens 接口。

### 什么是上下文窗口？

模型在一次请求中能读取的最大 Token 数，包括提示词、对话和它的回答。

### 我的文本会被上传吗？

不会。估算在你的浏览器中完成。

### 空格和标点算 Token 吗？

算。它们是分词器切分文本的一部分，通常会与后面的词连在一起。

### 为什么中文或希伯来语文本会用更多 Token？

分词器主要用英文文本训练，所以其他文字会被切成更小的片段，表达同样的意思需要更多 Token。

### 图片也算 Token 吗？

算。能读取图片的模型也会把图片转换为 Token，数量取决于图片尺寸。本工具只估算文本。

### 输出 Token 也计入上下文窗口吗？

计入。提示词、对话以及模型的回答（包括思考过程）都必须放得进上下文窗口。

### 如何减少提示词的 Token 数？

删除重复内容和不必要的示例，只发送文档中相关的部分，并对重复出现的长文本使用提示词缓存。

## 相关内容

- [AI API 成本计算器](https://byshahid.com/zh/tools/ai-api-cost-calculator/)
- [RAG 文本分块工具](https://byshahid.com/zh/tools/rag-text-chunker/)
- [AI 提示词生成器](https://byshahid.com/zh/tools/ai-prompt-generator/)

## 来源

- [Anthropic Docs: Token counting](https://platform.claude.com/docs/en/build-with-claude/token-counting)