Fastsoft / Guide
使用指南
使用本地分词器按 o200k_base 或 cl100k_base 编码统计输入文本的 Token 数，并用交替颜色标出分词位置。计算在浏览器内完成。
操作步骤
- 输入或粘贴要分析的文本。
- 选择分词编码，查看 Token 总数、彩色预览与每个 Token 的 ID。
- 鼠标悬停在彩色片段上可查看对应 ID；长文本只预览前 500 个 Token，但总数仍完整计算。
实际示例
粘贴一段中英混排的提示词，切换两种编码，观察 Token 数量和文字分段的差异。
使用前须知
这里仅计算编辑框纯文本的分词数量，不含聊天消息格式、工具调用、图片或音频等开销。不同模型可能使用其他编码。部分 Unicode 字符的字节跨越多个 Token，彩色预览会按字符起始 Token 着色；ID 列表仍保留每个 Token。
常见问题
为什么彩色片段数量有时少于 Token 总数？
一个汉字或表情符号可能跨越多个 Token 的字节。预览不会拆碎或替换这个字符，因此用首个 Token 的颜色显示它；完整 ID 仍在下方列表中。