本文的内容按照作者的课程考试要求书写，仅供复习参考。🌷🌷🌷欢迎大家指正！
考点
二分类线性模型的决策边界
在二分类问题中，由于输出目标 𝑦 是两个离散的标签，而 𝑓(𝒙; 𝒘, b) 的值域为实数，因此无法直接用 𝑓(𝒙; 𝒘) 来进行预测，需要引入一个非线性的激活函数（决策函数） 𝑔(⋅)来预测输出目标，决策函数（常用的是sigmoid函数）的作用是将模型的连续输出映射到两个离散标签中的一个。
证明：为什么决策平面与权重向量w正交
参考链接:csdn
Logistic Regression
将二分类问题看作条件概率估计问题
Logistic函数
Logistic回归
KL散度和交叉熵损失
感知器
卷积神经网络
首先明确一个概念，卷积核就是滤波器。
卷积核（或滤波器）是一个小的矩阵，通常具有较小的维度（如3x3或5x5），它会在输入数据（如图像）上滑动，执行卷积操作以提取特征。每个卷积核都会学习捕捉输入数据中的某种特定模式或特征。
滑动步长和零填充
步长(Stride)是指卷积核在滑动时的时间间隔
零填充(Zero Padding)是在输入向量两端进行补零
卷积运算的参数量
输出尺寸 = (输入尺寸 - 卷积核尺寸 + 2 * 零填充) / 步长 + 1
Inception网络
1x1卷积核的作用
补充：1x1卷积核实现升维/降维的原理
序列建模
N-gram模型：减少历史基元的个数
当 n=1 时，即出现在第 i 位上的基元 wi 独立于历史。 一元文法也被写为 uni-gram 或 monogram;
当 n=2 时，即出现在第 i 位上的基元 wi 仅依赖于wi -1，2-gram (bi-gram) 被称为1阶马尔可夫链;
当 n=3 时,即出现在第 i 位上的基元 wi 依赖于{wi -1、 wi -2}，3-gram(tri-gram)被称为2阶马尔可夫链，依次类推。
例如，给定训练预料：
“John read Moby Dick”
“Mary read a different book”
“She read a book by Cher”
根据 2-gram文法求句子的概率?
句子：John read a book
计算的概率类似于条件概率，要注意所求句子和预料里面的单词的前后关系
注意： < BOS >是第一个单词前面的位置 < EOS >是最后一个单词后面的位置
计算过程为：
注意力机制
注意力，对于我们人来说可以理解为“关注度”，对于计算机来说其实就是赋予多少权重(比如0-1之间的小数)，越重要的地方或者越相关的地方就赋予越高的权重。
注意力模型的基本实现过程如下：
补充：softmax函数
模型的优化和正则化
BN带来的好处
1.减轻了对参数初始化的依赖，有利于调参。
2.训练更快，可以使用更大的学习率。
3.BN一定程度上增加了泛化能力
BN存在的问题
BN依赖于批的大小，当批量很小时，估计的均值和方差不稳定。因此BN不适合如下场景：
批量非常小，比如训练资源有限无法设置较大的批量，也比如在线学习等使用单例进行模型参数更新的场景。
循环神经网络，因为它是一个动态的网络结构，同一个批中训练实例有长有短，导致每一个时间步长必须维持各自的统计量，这使得BN并不能正确的使用。
