把你自己的一句话切成 Token 看看
视频里那个「自己动手看看」直接搬到这里:粘一句话进来,看到的每一块就是一个 Token——AI 读、写、记、收钱都按它算。
粘一句话进来
0 个 Token0 个字符
- 在你的浏览器里跑,用的是 OpenAI 公开的那套分词表(GPT-4o 和 4.1 是 o200k_base,GPT-4 和 3.5 是 cl100k_base);你输的字不会发到任何地方。
- Claude、Gemini、Llama 各有各的词表,块数会差一点;规律一样:常见词一块,生僻词好几块,中文一个字常常一到两块。
- 块上的小角标是「这一个字用了几个 Token」,很多汉字和表情符号都会这样。
- 视频里画的切法是示意,这里是真的。