Token 估算器

粘贴文本，得到估算的 token 数、它占上下文窗口的比例，以及嵌入它的成本。

估算是怎么做的

现代模型使用字节对编码（BPE），把文本切成子词片段。常见英文单词是一个 token；生僻词、标点，以及空白字符多的代码则更贵。在不向你的浏览器下发一兆字节词表的前提下，可行的办法是一套校准过的启发式规则：统计单词、标点和连续空白，再按内容类型作调整。

对英文文本，这个结果的误差大约在 10% 以内，代码和其他语言会更宽。如果你需要精确值，就跑模型自己的分词器——OpenAI 用 tiktoken，或者用 Hugging Face 上随模型一起发布的分词器。

token 数为什么对记忆很重要

助手每检索出一条事实都要花掉上下文，而上下文是有限的。一条笔记就够用时却返回十二条完整笔记的记忆系统，并没有帮到你——它花光了你的窗口，把真正的对话挤了出去。

正因如此，Varven 把「找到哪条记忆」和「读它说了什么」分开：简要搜索只用一小部分 token 返回主题和 id，然后你只取需要的那一条正文。了解 Varven 的工作方式。

常见问题

一个单词是多少 token？

英文文本平均每个单词约 1.3 个 token，大致相当于每个 token 四个字符。代码会更高，因为标识符、括号和缩进会碎成更多片段。

为什么不同模型报出的数字不一样？

每个模型家族都有自己的词表。同一段文字在 GPT、Claude 和 Llama 的分词器之间能差出 10–20%。这里的估算取的是中间值。

空白字符算数吗？

算。缩进和空行都是实实在在的 token，所以内容相同时，压缩过的 JSON 比格式化过的 JSON 更便宜。