一、大模型推理概念
大多数流行的only-decode LLM（例如 GPT-3）都是针对因果建模目标进行预训练的，本质上是作为下一个词预测器。这些 LLM 将一系列tokens作为输入，并自回归生成后续tokens，直到满足停止条件（例如，生成tokens数量的限制或遇到停止词）或直到生成特殊的 标记生成结束的tokens。该过程涉及两个阶段：预填充阶段和解码阶段。
1.预填充阶段
在预填充阶段，LLM处理输入token以计算中间状态（keys和value），用于生成“第一个”token。每个新的token都依赖于所有先前的token，但由于输入的全部已知，因此在运算上，都是高度并行化矩阵运算，可以有效地使用GPU。
prefill：输入编码“你是谁？”，针对输入编码，产生kv cache，然后生成首个token“我”。
2.解码阶段
在解码阶段，LLM一次自回归生成一个输出token，直到满足停止条件。每个输出tokens都需要直到之前迭代的所有输出状态（keys和values）。这与预填充输入处理相比，就像矩阵向量运算未充分利用GPU计算能力。数据（weights, keys, values, activations） 从内存传输到GPU的速度决定了延迟，而不是计算实际时间消耗。即，这是一个内存限制操作。
输入一段文本后，生成一段长度为N的输出。单次推理只输出一个token，然后将推理输出的token和输入的tokens拼接在一起，作为下一次推理的输入，不断反复直到遇到终止符。
模型是怎么得到next token的
- 经过embedding，位置编码，attention，MLP，softmax等layer的处理，得到最终模型输出的logits。
- logits是一个张量，长度为vocab_size，其元素之和为1，各元素取值代表每个token被选中的概率。
- 基于模型的输出logits，从词表中选出一个token作为当前生成的结果。
怎么选择呢？就是看温度等参数了
http://t.csdnimg.cn/RZDov
这些参数在代码里的实现：
https://zhuanlan.zhihu.com/p/658780653
二、模型推理优化策略
1.模型在推理、训练时所占的显存分析
Transformer模型参数量计算公式：
前向传播计算量：
推理过程
假设模型参数是W.
推理过程包括模型的一次前向传播，显存主要存储模型的参数。
当模型通过Float 16数据类型存储时，每个元素占据2个bytes，因此显存占用量为2W；
当模型通过Float 32数据类型存储时，每个元素占据4个bytes，因此显存占用量为4W。
可以记忆为参数量为WB的模型，以Float 16推理时占用显存为2W个G。
以下是不同精度的数据类型及其对应的大小表格，包括具有70亿个参数的模型的显存占用：
| 数据类型 | 位数 | 字节数 | 具有70亿个参数的模型的显存占用 |
|---|---|---|---|
| FP32 | 32位 | 4字节 | 28 GB = 4*7 |
| FP16 | 16位 | 2字节 | 14 GB =2*7 |
| INT8 | 8位 | 1字节 | 7 GB =1*7 |
| INT4 | 4位 | 0.5字节 | 3.5 GB =0.5*7 |
训练过程
模型训练过程中，显存占用主要包括下面四个部分：模型参数、模型梯度、优化器状态、中间激活值。
以AdamW优化器和混合精度训练进行7B模型训练为例：
AdamW优化器在反向传播时，需要保存一阶梯度及二阶的动量；
混合精度训练指训练过程采用FP16数据格式，反向传播进行参数更新时，采用FP32数据格式。
模型梯度是指在反向传播过程中计算得到的模型参数的导数。这些梯度用于更新模型参数，以最小化损失函数。
优化器状态（Optimizer State）是在模型训练过程中由优化器维护的内部变量。这些变量用于加速和稳定模型参数更新的过程。在反向传播过程中，优化器状态保存并更新这些动量，以实现更高效的参数更新。这些状态变量需要与模型参数一样存储在显存中，因此占用显存资源。
模型参数：和推理时的一样：27 =14G
模型梯度：27 =14G
优化器状态: 47(参数）+ 47(动量）+ 4*7(方差）= 12 * 7 = 84G
中间激活值：
batch为1时，模型有28层，隐藏层大小4096，中间隐藏层大小16384，注意力头数32，词表大小130528，上下文长度2048：激活值占大约27G
训练时间估计：
参考：
https://www.zhihu.com/collection/951850716
https://zhuanlan.zhihu.com/p/624740065
https://zhuanlan.zhihu.com/p/638199667
https://blog.csdn.net/weixin_43301333/article/details/127237122
2.KV cache的优化
https://zhuanlan.zhihu.com/p/677660376
https://zhuanlan.zhihu.com/p/685853516
占用显存分析：
动图形象化：
1.Window–窗口
多轮对话场景的 LLMs 有两个难点：1. 解码阶段缓存 KV 需要耗费大量的内存；2. 流行的 LLMs 不能拓展到训练长度之外。
也就是首token非常重要！其实说白了，就是实测发现大部分情况下，前几个Token的注意力占比还是很重的，所以不能去掉，去掉注意力就全乱了。
2.Sparse–稀疏化
H2O、SubGen、LESS三个项目。略过。
https://zhuanlan.zhihu.com/p/685853516
3.Quantization–量化
量化，主要用于降低数值的精度以节省内存。量化时，每个数值都会被舍入或截断以转换至低精度格式。
https://huggingface.co/blog/zh/4bit-transformers-bitsandbytes
4.Allocator–显存分配
主要是Page Attention 。这是VLLM的实现。
PagedAttention的核心是一张表，类似于OS的page table，这里叫block table，记录每个seq的kv分布在哪个physical block上，通过把每个seq的kv cache划分为固定大小的physical block，每个block包含了每个句子某几个tokens的一部分kv，允许连续的kv可以不连续分布。
在attention compute的时候，pagedattention CUDA kernel就通过block table拿到对应的physical block序号，然后CUDA线程ID计算每个seq每个token的offset从而fetch相应的block，拿到kv，继续做attention的计算.
https://www.zhihu.com/question/68482809/answer/3206704509?utm_id=0
https://zhuanlan.zhihu.com/p/638468472
https://blog.csdn.net/buptgshengod/article/details/132783552
https://www.cnblogs.com/wxkang/p/17738945.html
5.Share–KV cache共享
多头注意力 （MHA）、分组查询注意力 （GQA）、多查询注意力 （MQA）、多头潜在注意力 （MLA）
看图就懂。
https://spaces.ac.cn/archives/10091
https://zhuanlan.zhihu.com/p/699970939
3.Flash attention优化
推文
https://zhuanlan.zhihu.com/p/672698614
4.模型并行化技术
分布式并行策略有数据并行（Data Parallelism）、模型并行（Model Parallelism）、流水线并行（Pipeline Parallelism）等。
在推理时，主要介绍以下三种：
1.Pipeline并行
Pipeline并行化将模型（垂直）分片为块，其中每个块包含在单独设备上执行的层的子集。
2.Tensor并行
张量并行训练是将一个张量沿特定维度分成 N 块，每个设备只持有整个张量的 1/N，同时不影响计算图的正确性。这需要额外的通信来确保结果的正确性。
3.Sequence并行
介绍Megatron-LM的实现。
Tensor并行化是有局限性，它需要将层划分为独立的、可管理的块，不适用于 LayerNorm 和 Dropout 等操作，而是在tensor并行中复制。虽然 LayerNorm 和 Dropout 的计算成本较低，但它们确实需要大量内存来存储（冗余）激活。
是针对上述局限性做的改进
https://zhuanlan.zhihu.com/p/659792351
三、推理服务技术
在大语言模型（LLM）的推理过程中，以下四个关键指标用于衡量和优化其性能：
具体到服务技术上，可以采取：
1.静态批处理 static batching：
输出长度不一致，将多个input组合成一个batch，执行一次推理过程，直到输出最长的推理完成，才完成一个完整的batch推理过程。一般不用。
2.连续批处理（VLLM）
LLMs的整个文本生成过程可以分解为模型上的多次执行迭代。
采用了迭代级调度，其中批大小根据每次迭代确定。结果是，一旦批中的一个序列完成生成，就可以在其位置插入一个新的序列，从而实现比静态批处理更高的GPU利用率。
如上图所示，使用连续批处理完成七条序列。左图显示了单个迭代后的批，右图显示了多次迭代后的批。一旦一个序列产生结束序列标记，我们在其位置插入新的序列（即序列S5、S6和S7）。这实现了更高的 GPU 利用率，因为 GPU 不需要等待所有序列完成才开始新的一个。
3.预测推理(Speculative inference)
预测推理也称为推测采样、辅助生成或分块并行解码，是并行执行 LLM 的另一种方式。
这种方法的基本思想是使用一些“更便宜”的过程来生成几个token长的临时序列。然后，并行执行多个步骤的主要“验证”模型，使用廉价临时序列作为需要的执行步骤的“预测”上下文。
如果验证模型生成与临时序列相同的token，那么就知道接受这些token作为输出。否则，可以丢弃第一个不匹配标记之后的所有内容，并使用新的临时序列重复该过程。
https://zhuanlan.zhihu.com/p/657586838
总参考：
GitHub链接
总结起来也很费时间
