传统的注意力机制由于时间和空间复杂度的二次方增长，以及在生成过程中键值缓存的内存消耗不断增加，限制了模型处理长文本的能力。相关的解决方案包括减少计算复杂度、改进记忆选择和引入检索增强语言建模。
检索增强生成（RAG）和MemLong的记忆检索流程。 (a) 当检索到的信息长度超过模型的处理能力时，RAG甚至可能会降低生成性能（黄色）(b) MemLong利用外部检索器来获取历史信息，然后将这些信息以键值对（K-V）的形式而不是文本形式传递给模型。
提出一种新方案MemLong，结合一个非可微分的检索-记忆模块和一个部分可训练的解码器语言模型，来增强长文本上下文的语言建模能力。
MemLong利用外部检索器来检索历史信息，并通过细粒度、可控的检索注意力机制，将语义级别的相关信息块整合到模型中。这种方法不仅提高了模型处理长文本的能力，还保持了信息分布的一致性，避免了训练过程中的分布偏移问题。
**MemLong的一个示例：**在底层，模型保持静态，对整个数据块Ci进行因果语言建模，随后，Ci被缓存为嵌入和键值对（K-V）形式。最后，上层进行微调，以协调检索偏好并整合检索到的内容。
MemLong的核心原理包括以下几个方面：
- 检索-记忆模块：MemLong通过检索-记忆模块来存储过去的上下文和知识，并利用这些存储的嵌入向量来检索输入模型的块级关键值（K-V）对。
- 检索注意力机制：MemLong引入了一种细粒度、可控的检索注意力机制，允许模型在局部上下文和通过检索获得的块级过去上下文之间进行注意力分配。
检索因果注意力的说明。 局部因果注意力应用于最近的上下文，而通过检索方法获得的块级键值对（K-V）允许双向注意力，由于它们的历史性质，不会导致信息泄露。 - 动态记忆管理：当内存溢出时，MemLong使用计数器机制智能地更新内存，保留最有价值的信息，删除最不相关的数据，以控制内存大小并提高检索效率。
- 推理过程：在处理超出模型最大处理长度的输入时，MemLong将文本存储为记忆库中的上下文信息，并在给定最近生成的文本块时，使用检索器显式检索过去的信息，通过索引对齐获得额外的上下文信息。
通过这些原理，MemLong在多个长文本上下文语言建模基准测试中表现出色，证明了其在处理长文本方面的有效性和优越性。MemLong可以将单个3090 GPU上的上下文长度从4k扩展到80k。
不同上下文窗口扩展模型在PG19、Proof-pile、BookCorpus、Wikitext-103上的滑动窗口困惑度。所有实验均在一块3090 24GB GPU上进行。LongLLaMA-3B和MemLong-3B带有∗标记的表示在没有内存的情况下进行评估，而带有†标记的LongLLaMA-3B表示在无限内存的情况下进行评估。还评估了MemLong在4K/32K内存场景下的表现。"- / 6.95"表示模型在单个GPU上导致内存不足（OOM）错误，而在双GPU上则产生了相应的结果。
https://arxiv.org/pdf/2408.16967
https://github.com/Bui1dMySea/MemLong
MemLong: Memory-Augmented Retrieval for Long Text Modeling最后分享
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。
1. 成长路线图&学习规划
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。
这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
2. 大模型经典PDF书籍
书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）
3. 大模型视频教程
对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。
4. 大模型项目实战
学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。
5. 大模型面试题
面试，不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
