⌘ K
… 读取采集状态 同步中...
雷
原文
X:Greg Brockman (@gdb)·· 2026-09-03AI 评分0

从流星雨看 tokenizer:中文三字词编码后只是 1 个 token

AI 导读

作者以流星雨为例讲解 tokenizer 的工作方式:中文里三个字的流星雨,编码后只是 1 个 token,tokenizer 只关心词语在语料中出现的频率。引用内容对比了人类逐词组合理解语言与 AI 从编号关系逼近意义的不同起点。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:X:Greg Brockman (@gdb) · x.com