51 人工智能的产生与发展课件ppt/教案/教学设计资料优选
普通：可用储值下载的资源，由学科网用户创作、加工或整理改编后的教学资源。
特供：可用储值下载的特供资源，由学科网合作校独家提供的学校专属特供资源。
精品：可用储值下载的精品资源，由学科网精品教研团队教师自主研发、原创的教育资源。
教辅：由学科网合作版权单位（出版社、教辅公司及教育机构）官方发布的教辅、成套资源。
人工智能第十一次作业
1、前馈网络存在的问题
连接在层与层之间，每层节点间无连接。输入和输出的维数固定，不能任意改变。无法处理时序数据。
2、序列数据
有先后次序的一组数据，可分为时间序列，符号序列和生物序列。
3、循环神经网络（RNN）为什么能解决前馈网络中的问题
循环神经网络是一类处理序列数据时所采用的网络结构，它会在学习中记住部分已经出现的信息，并利用所记住的信息影响后续结点的输出。
4、卷积神经网络（CNN）与循环神经网络（RNN）的异同
相同：都是深度学习的主流神经网络结构。
不同：卷积神经网络的输入数据是空间数据，并且是独立的，输入的大小也是固定的，用于计算机视觉方面。循环神经网络的输入数据是序列数据，且是相关的，输入序列变长，用于自然语言处理方面。
5、沿时间反向传播算法（BPTT）
RNN利用沿时间反向传播算法来训练模型参数。
6、序列到序列模型seq2seq
序列到序列是一种条件的序列生成问题，使用两个循环神经网络来分别进行编码和解码。
7、梯度消失、梯度爆炸
梯度消失是指当神经网络层数增多时，越靠近输入层的层之间的权重无法得到有效修正（导数趋于0），从而得到神经网络效果不好。由于反向传播算法，各层之间的权重系数是通过导数来修正的。而当网络层数增多时，由于链式法则，当导数值小于1时（如sigmoid函数），越靠近输入层的导数越接近0，从而权重系数无法得到有效修正。
梯度爆炸指神经网络训练过程中大的误差梯度不断累积，导致模型权重出现重大更新。会造成模型不稳定，无法利用训练数据学习。
人工智能第十二次作业
1、长短期记忆网络LSTM（输入门、遗忘门、输出门）
长短期记忆网络是RNN循环神经网络的一种改进方法，是为了解决一般的RNN（循环神经网络）存在的长期以来问题而专门设计出来的，在NLP领域具有很重要的作用。
如同在门控循环单元GRU中一样，当前时间步的输入和前一个时间步的隐状态作为数据送入长短期记忆网络的门中。它们由三个具有sigmoid激活函数的全连接层处理，以计算输入门、遗忘门和输出门的值。因此，这三个门的值都在(0,1)的范围内。
2、LSTM如何克服梯度消失
通过引入门结构，在从t-1到t过程中引入加法来进行信息更新。LSTM遗忘门值可以选择在[0,1]之间，可以选择接近1，让遗忘门饱和，此时远距离信息梯度不消失，梯度能够很好的在LSTM中传递，也可以选择接近0，此时模型是故意阻断梯度流，遗忘之前信息，说明上一时刻的信息对当前时刻没有影响。
3、门控循环单元神经网络GRU（更新门、重置门）
GRU较LSTM结构更简单，计算速度更快。可以解决RNN中不能长期记忆和反向传播中的梯度等问题。
重置门决定了如何将新的输入信息与前面的记忆相结合。重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略的越多。
更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。