混合架构中的竞争学习

许多现代语言模型采用了混合架构，结合了线性时间循环和 softmax 注意力。现代循环层提供了一种高度表达的混合机制，同时通过将上下文信息压缩到固定长度来确保高吞吐量