有没有可能将RWKV发展为“智能”和“知识”分离的模型？

[guzongmin]

本周看到RWKV模型，十分惊艳。非常认同RWKV的设计思路。同时有了一个想法不知道是否可行？“有没有可能将RWKV发展为“智能”和“知识”分离（相对与现在模式数据既用作推理也存储信息而言）的模型？” 具体说就是把目前的RWKV的“模型”看做是AI的“智能"，主要表示学习到的方法。把state看成是AI的”知识“主要表示学习到的信息。在使用的过程中”智能“部分是不会修改的，但是知识可以留存。这样我们就可以得到一个“存算一体”的模型。
如果可以做到这一点，那么所谓的“微调”就可以是简单的使用而已。而且也可以做到每个人都可以拥有独一无二的RWKV模型。因为用户的使用就是模型学习到的知识的一部分。

[guzongmin]

更进一步思考，是不是可以改进现在的整体训练方案。具体说就是:

1. 在Pretraining阶段依然使用现在的方式，反向传播，大力出奇迹。
2. 在Supervised Finetuning阶段，只使用前向传播，保留state作为最后模型的一部分。

[BlinkDL]

目前state更像工作记忆

你可以看看目前的 rwkv state tuning

[guzongmin]

非常感谢

[guzongmin]

非常感谢
论文 《RNNs are not Transformers (Yet): The Key Bottleneck on In-context Retrieval》说明了RNN结构在记忆力方面的天然劣势。这也暗合了“目前state更像工作记忆”的说明。目前的state和KV cache相比规模太小了，无法承载过多的信息。

这篇论文也提供了两个思路：1. 使用RAG来辅助增强记忆 2. 使用一层transform attention来增加记忆。
第一个路子用RAG是外挂，其实和RNN结构没有什么关系。第二个路子破坏了RNN的形式，不美观。
我也提供一个不成熟的思路：在Channel Mix层增加一个state，用于增强短期记忆。我的理解是Time Mix层更多是“智能的体现”而Channel Mix层是“知识”的存储。在Channel Mix层增加一个state，可以增强短期知识的存储，更好的服务当前任务。