养娃过程让我体会到了 LLM 的基本原理。

你教娃一个新的会话（eg. 「这个玩具是人家的，不要抢，放回去」），他听个两三次之后，虽然不完全明白里面每一个字词的含义，但是会在相同/近似情境下，自己突然冒出来这句。

这时候若说的不对/不完全符合语境，你只要将之复述一遍，并且纠偏里面个别的字词，他再跟着说两三遍，下次就能慢慢说对了——尽管此时他仍然可能不完全明白里面每一个字词的含义。

有时候，即便反复纠偏几次，他下次张口仍然会说不对。这时候你只要「嗯？是吗？」、「再想想」，他脑子转了一下，又可能就说对了，不需要额外提示。

广泛适用于普通话、上海话、英语。

—— 跟调教 LLM 简直一样一样的。

需要让机器完全理解文本吗？不需要，就是个概率、上下文，以及增强回路。

需要教他每一个字词吗？不需要，RAG 也是挑特征的，文本概率也是能 TF-IDF 的。

需要分语言语系来喂给 LLM 吗？不需要，你自己脑子清楚，数据洗得好，它就自动成为多语言掌握者。

另外我还发现，两岁半小朋友在高信息密度的输入下，记忆缓存大概只有 20 多个字节（半岁到一岁是两三个字节，一岁半是三到五个字节），延迟大概 2-3 秒。

把他当成 486 里跑着 7B 小模型来对待就好了。一切都是硬件机能限制，还在长脑子呢。

这样去理解他，有助于成为一个耐心的家长。