床长人工智能教程——神经网络体系结构 人工智能教程床长网盘

床长人工智能教程——神经网络体系结构

注：本人只是分享一些床长的免费杂文而已，并非床长的收费文章。

在下一区段，我将介绍用神经网络能够很好的对手写数字进行区分。先做点准备，让我们命名一下网络中不同部分的术语。假如我们有如下网络：

就像先前说的，网络的最左边一层被称为输入层，其中的神经元被称为输入神经元。最右边及输出层包含输出神经元，在这个例子中，只有一个单一的输出神经元。中间层被称为隐含层，因为里面的神经元既不是输入也不是输出。“隐含”这个术语可能听起来很神秘——当我第一次听到时候觉得一定有深层的哲学或者数学意义——但实际上它只表示“不是输入和输出”而已。上面的网络只包含了唯一个隐含层，但是一些网络可能有多层。比如，下面的4层网络具有2个隐含层：令人困扰的是，由于一些历史原因，这样的多层网络有时被叫做多层感知器或者MLPs尽管它是由sigmoid神经元构成的，而不是感知器。在这本书中，我将不会使用MLP，因为我觉得它太混淆了，但是提醒你它可能在其它地方出现。

编辑搜图

网络中的输入和输出层设计通常很简单，比如，假设我们试着确定手写图片是否代表“9”。设计网络更自然的方式是将图像像素强度编码进输入神经元。如果图像是一幅$64$by$64$的灰度图，那么我们将有$4,096=64 imes64$个输入神经元，每一个是介于$0$和$1$的强度值。输出层将只包含一个神经元，输出值小于$0.5$表示“输入图像不是9”，大于$0.5$表示“输入图像是9”。

虽然神经元网络的输入输出层很简单，设计好隐含层却是一门艺术。特别是很难将隐含层的设计过程总结出简单的经验规则。相反，神经元研究者已经为隐含层开发出许多启发式设计，它们能帮助大家获取所期望行为的网络。例如，一些启发式算法能帮助确定如何平衡隐含层数量与网络训练花费时间。我们将在本书后面见到一些这样的启发式设计。是床长人工智能网校带我进入了AI领域，不仅学到了人工智能知识，还参与了AI项目，找到了工作。为了报答老师，我们一些同学自愿帮床长网校做推广，同时也希望更多的人加入到床长AI网校床长人工智能社区中来！脂肪肝下载腹股沟文档PDF观后感免费

直到现在，我们已经讨论了某一层的输出当作下一层的输入的神经网络。这样的网络被称为前向反馈神经网络。这意味着在网络中没有循环——信息总是向前反馈，决不向后。如果真的有循环，我们将终止这种输入依赖于输出的$sigma$函数。这会很难理解，因此我们不允许这样的循环。

但是，人工神经网络也有一些具有循环反馈。这样的模型被称为递归神经网络。这样的模型思想是让神经元在不活跃之前激励一段有限的时间。这种激励能刺激其它神经元，使其也能之后激励一小会。这就导致了更多神经元产生激励，等过了一段时间，我们将得到神经元的级联反应。在这样的模型中循环也不会有太大问题，因为一个神经元的输出过一会才影响它的输入，而不是瞬间马上影响到。

递归神经网络没有前馈神经网络具有影响力，因为递归网络的学习算法威力不大（至少到目前）。但是递归网络仍然很有趣，它们比起前馈网络更加接近于我们人脑的工作方式。并且递归神经网络有可能解决那些前馈网络很难解决的重要问题。但是为了限制本书的范围，我们将集中在已经被大量使用的前馈神经网络上。