G意为Generative :生成式
比如,生成式的分类器(模型)包括----
generative classifiers:
naive Bayes classifier and
linear discriminant analysis
与之对应的为判别式-----
discriminative model:
logistic regression
P意为Pre-Trained
在人工智能和机器学习的领域,预训练(pre-training)是指在一个较小的、特定任务的数据集上进行微调(fine-tuning)之前,在一个大数据集上训练一个模型的过程。 这个初始训练阶段允许模型从数据中学习一般的特征和表征,然后可以针对具体任务进行微调。
T意为Transformer
Transformer 英文原意变压器或者「单数形式的变形金刚」
在数学上,Transformer意为
In mathematics, a transformation is a function f, usually with some geometrical underpinning, that maps a set X to itself, i.e. f: X → X.[1][2][3] Examples include linear transformations of vector spaces and geometric transformations, which include projective transformations, affine transformations, and specific affine transformations, such as rotations, reflections and translations.[4][5]
正题回归:
Transformer是一种基于注意力机制的序列模型,最初由Google的研究团队提出并应用于机器翻译任务。与传统的循环神经网络(RNN)和卷积神经网络(CNN)不同,Transformer仅使用自注意力机制(self-attention)来处理输入序列和输出序列,因此可以并行计算,极大地提高了计算效率。
P.S.我在lecture里容易混淆的
在线性代数中,矩阵A的转置(英语:transpose)是另一个矩阵AT(也写做Atr, tA, At或A′)