Token 到底是什麼？AI 為什麼數不清草莓裡有幾個 r

Mia 的小貼士

• 放心粘，想試什麼都行：切塊就在你自己的瀏覽器裡做，你輸的字不會發到任何地方。用的是 OpenAI 公開的分詞表（GPT-4o、4.1 是 o200k_base，GPT-4、3.5 是 cl100k_base）。
• 換成 Claude、Gemini 或 Llama，塊數會差一點點，因為每家的詞表都不一樣；但規律是一樣的：常見詞一塊，生僻詞拆好幾塊，中文一個字大多一到兩塊。
• 有的塊上會冒出一個小角標，意思是「這一個字用掉了好幾個 Token」。很多漢字和表情符號都這樣，所以狂發表情其實挺費 Token 的。
• 影片裡那張切法圖是示意，這裡切出來的才是真的，可以拿來對一對。