0
点赞
收藏
分享

微信扫一扫

网页的制作

一、什么是神经网络?

神经网络又称人工神经网络,是一种基于人脑功能模型的计算架构,因此称之为“神经”。神经网络由一组称为“节点”的处理单元组成。这些节点相互传递数据,就像大脑中的神经元相互传递电脉冲一样。

神经网络在机器学习中使用;机器学习是指一种无需明确指令即可学习的计算机程序。具体来说,神经网络在深度学习中使用;深度学习是一种先进的机器学习类型,无需人工干预即可从无标签数据中得出结论。例如,在神经网络基础上建立的深度学习模型在获得足够的训练数据后,就能识别出照片中从未见过的物品。

神经网络使多种类型的人工智能 (AI) 成为可能。大型语言模型 (LLM)(如 ChatGPT)、AI 图像生成器(如 DALL-E)和预测式 AI 模型都在一定程度上依赖于神经网络。

二、神经网络如何工作?

神经网络由一系列节点组成。节点至少分布在三个层上。这三个层分别是:

  • 输入层
  • “隐藏”层
  • 输出层

神经网络至少必须包含这三个层。除了输入层和输出层,神经网络还可以有多个隐藏层。

无论属于哪一层,每个节点都会对从上一层节点(或输入层)接收到的输入执行某种处理任务或功能。基本上,每个节点都包含一个数学公式,公式中每个变量的权重各不相同。如果将该数学公式应用于输入产生的输出超过了某个阈值,该节点就会将数据传递给神经网络的下一层。如果输出低于阈值,则不会将数据传递给下一层。

想象一下,Acme 公司有一个等级森严的会计部。Acme 会计部经理级员工批准低于 1,000 美元的支出,董事批准低于 10,000 美元的支出,首席财务官批准任何超过 10,000 美元的支出。Acme 公司其他部门的员工在提交费用时,首先要提交给会计经理。任何超过 1000 美元的支出都会转给董事,而低于 1000 美元的支出则留在经理一级,以此类推。

Acme 公司会计部的运作方式有点像神经网络。员工提交费用报告就好比是神经网络的输入层。每个经理和总监就好比是神经网络中的一个节点。

就像一位会计经理在将费用报告交给会计主管之前,可能会请另一位经理协助解读报告一样,神经网络也可以用多种方式构建。节点可进行多向通信。

三、有哪些类型的神经网络?

神经网络的节点和层数没有限制,这些节点几乎能够以任何方式进行交互。正因如此,神经网络的类型也在不断增加。不过,它们大致可以分为以下几类:

  • 浅层神经网络通常只有一个隐藏层
  • 深度神经网络有多个隐藏层

与深度神经网络相比,浅层神经网络速度更快,所需的处理能力更低,但无法像深度神经网络那样执行大量复杂任务。

下面是目前可能使用的神经网络类型的不完整列表:

感知器神经网络是一种简单的浅层网络,有一个输入层和一个输出层。

多层感知器神经网络增加了感知器网络的复杂性,并包含一个隐藏层。

前馈神经网络只允许其节点将信息传递给正向节点。

循环神经网络可以倒退,允许某些节点的输出影响之前节点的输入。

模块化神经网络将两个或更多个神经网络组合在一起,以获得输出结果。

径向基函数神经网络节点使用一种称为径向基函数的特殊数学函数。

液体状态机神经网络的特点是节点之间是随机连接的。

残差神经网络通过一个称为身份映射的过程,将早期层的输出与后期层的输出结合起来,从而使数据向前跳转。

四、什么是 Transformer 神经网络?

Transformer 神经网络之所以值得强调,是因为它们在当今广泛使用的 AI 模型中占据了极其重要的位置。

Transformer 模型于 2017 年首次提出,它是一种神经网络,使用一种名为“自注意力机制”的技术来考虑序列中元素的上下文,而不仅仅是元素本身。通过自注意力机制,它们甚至可以检测到数据集各部分之间的微妙联系。

这种能力使它们非常适合分析(举例来说)文本的句子和段落,而不仅仅是单个单词和短语。在 Transformer 模型被开发出来之前,处理文本的 AI 模型在它们处理到句子末尾时,往往会“忘记”了句子的开头,结果是结合的短语和观点对于人类读者来说是没有意义。然而,Transformer 模型能够以更自然的方式处理和生成人类语言。

Transformer 模型是生成式 AI 不可或缺的组成部分,特别是可以根据人类的任意提示生成文本的 LLM。

五、神经网络的历史

神经网络的历史其实很悠久。神经网络的概念可以追溯到 1943 年的一篇数学论文,该论文对大脑的工作方式进行了建模。在 20 世纪 50 年代和 60 年代,计算机科学家开始尝试构建简单的神经网络,但这一概念最终失宠。在 20 世纪 80 年代,这个概念再次兴起,到 20 世纪 90 年代,神经网络在 AI 研究中得到广泛应用。

不过,直到超高速处理能力、海量数据存储能力和计算资源出现后,神经网络才得以发展到今天的地步,能够模仿甚至超越人类的认知能力。这一领域仍在不断发展;目前使用的最重要的神经网络类型之一 Transformer 可以追溯到 2017 年。

举报

相关推荐

0 条评论