Engram的延伸——将模拟行为模块化 #10
Description
Engram 是将 Transformer 原本通过计算过程低效地模拟检索行为，进行了模块化处理，使得模型可以更加高效的实现检索这一基础功能，最终在同等条件下取得了更好效果。
如果分析 Engram 的整体思路，或许可以将其归纳为：
Transformer 原本的计算过程模拟行为，虽然具备强大的通用性，但是这种计算模拟存在低效等问题。
如果我们可以让这些基本功能，不再通过 Transformer 原本的计算过程进行低效地功能模拟，而是将这些基本功能进行模块化处理，那么有可能可以实现更好的效果。
那么，我们或许可以将这一整体思路进行延伸：
比如将模式匹配与状态、符号逻辑与关系、条件判断与分支，等基本功能，进行一定程度的模块化处理，而非完全的通过计算过程功能模拟，那么是否可以进一步实现更好的效果？
虽然模块化有可能对于通用性等方面存在一定的风险，但是只对检索等最基本功能，控制规模的进行模块化，或许可以实现一种更好的平衡。