人工智能面试题总结
1、深度学习框架TensorFlow中都有哪些优化方法？答：GradientDescentOptimizer AdagradOptimizer Optimizer 优化最小代价函数2、深度学习框架TensorFlow中常见的激活函数都有哪些？ 答：relu，sigmoid,tanh3、深度学习框架TensorFlow中有哪四种常用交叉熵？答：tf.nn.weighted_cross_entropy_with_logits tf.nn.sigmoid_cross_entropy_with_logits tf.nn.softmax_cross_entropy_with_logits tf.nn.sparse_softmax_cross_entropy_with_logits4、什么叫过拟合，产生过拟合的原因？避免过拟合方法？答：过拟合简单说，就是在机器学习中，模型训练效果好，但对新的测试数据预测很差。
产生过拟合原因：
数据有噪声训练数据不足，有限的训练数据训练模型过度导致模型非常复杂避免过拟合方法（常见）：
earlystopping，在发生拟合之前提前结束训练。数据集扩增，最大的满足全样本。正则化，引入范数概念，增强模型泛化能力。droput，每次训练时丢弃一些节点，增强泛化能力batchnormalization减小模型复杂度L1和L2的区别
L1范数为向量中各个元素的绝对值之和，符合拉普拉斯分布，可以使权值稀疏。L2范数为向量中各个元素的平方和的1/2次方，符合高斯分布，可以防止过拟合。Lp范数为向量中各个元素的p次方和的1/p次方。6、什么是核函数？
核函数是将线性不可分的特征隐射到高维特征空间，从而让支持向量机在这个高维空间线性可分，也就是使用核函数可以向高维空间映射并解决非线性的分类问题。包括线性核函数，多项式核函数，高斯核函数等，其中高斯核函数最为常用。
7、深度学习框架TensorFlow中常见的核函数都有哪些？
SVM高斯核函数，应为如果想要分割非线性数据集，改变线性分类器隐射到数据集，就要改变SVM损失函数中的核函数
线性核函数；多项式核函数
8、朴素贝叶斯方法的优势是什么？
朴素贝叶斯有稳定的分类效率 对于小规模的数据表现很好，能处理多分类问题，可以再数据超出内存时，去增量训练 对缺失数据不太敏感，算法比较简单，常用于文本分类。9、什么是监督学习的标准方法？
所有的回归算法和分类算法都属于监督学习。并且明确的给给出初始值，在训练集中有特征和标签，并且通过训练获得一个模型，在面对只有特征而没有标签的数据时，能进行预测。
监督学习和非监督学习？
监督学习：通过已有的一部分输入数据与输出数据之间的对应关系，生成一个函数，将输入映射到合适的输出，例如分类。非监督学习：直接对输入数据集进行建模，例如聚类。半监督学习：综合利用有类标的数据和没有类标的数据，来生成合适的分类函数。目前最广泛被使用的分类器有人工神经网络、支持向量机、最近邻居法、高斯混合模型、朴素贝叶斯方法、决策树和径向基函数分类。
无监督学习里典型的例子就是聚类了。聚类的目的在于把相似的东西聚在一起，而我们并不关心这一类是什么。因此，一个聚类算法通常只需要知道如何计算相似度就可以开始工作了。
10、在机器学习中，模型的选择是指什么？
根据一组不同复杂度的模型表现，从某个模型中挑选最好的模型。选择一个最好模型后，在新的数据上来评价其预测误差等评价和指标。
11、谈谈判别式模型和生成式模型？
常见的判别模型有：K近邻、SVM、决策树、感知机、线性判别分析（LDA）、线性回归、传统的神经网络、逻辑斯蒂回归、boosting、条件随机场。通过决策函数来进行判别。常见的生成模型有：朴素贝叶斯、隐马尔可夫模型、高斯混合模型、文档主题生成模型（LDA）、限制玻尔兹曼机。通过联合概率密度分布函数来进行预测。11、图形数据库Neo4J的优劣势？
优势：1.更快的数据库操作，前提是数据量足够大。
2.数据更加直观，相应的SQL语句更加好写。
3.更灵活，不管有什么新的数据需要储存，都是一律的节点，只需要考虑节点属性和边属性。
4.数据库的操作不会随着数据库的增大有明显的降低。
劣势：1.极慢的插入速度。
2.超大的节点。当一个节点的边非常多，有关这个节点的操作速度就会大大下降
12、LR和SVM的联系与区别是什么？
都是分类算法，如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。 LR和SVM都是监督学习算法 LR和SVM的损失函数不同 SVM只考虑局部的边界线附近的点，LR考虑全局，远离的点对边界线的确定也起作用。13、什么是聚类，聚类的应用场景？
聚类是指根据一定的准则，把一份事物按照这个准则归纳成互不重合的几份，机器学习中，聚类指按照一个标准，这个标准通常是相似性，把样本分成几份，是得相似程度高的聚在一起，相似程度低的互相分开。
聚类的应用场景，求职信息完善（有大约10万份优质简历，其中部分简历包含完整的字段，部分简历在学历，公司规模，薪水，等字段有些置空顶。希望对数据进行学习，编码与测试，挖掘出职位路径的走向与规律，形成算法模型，在对数据中置空的信息进行预测。）
14、机器学习中，为何要经常对数据做归一化？
归一化后加快的梯度下降对最优解的速度。 归一化有可能提高精度。
15、归一化的好处
归一化加快了梯度下降求解最优解的速度归一化还可能会提高精度。16、归一化的种类
线性归一化。利用max和min进行归一化，如果max和min不稳定，则常用经验值来替代max和min。标准差归一化。利用所有样本的均值和方差将样本归一化为正态分布。非线性归一化。比如指数、对数、三角函数等。17、归一化和标准化的区别
标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下。归一化是依照特征矩阵的行处理数据，其目的在于样本向量在点乘运算或其他核函数计算相似性时，拥有统一的标准，也就是说都转化为“单位向量”。
对于深度网络而言，归一化的目的是方便比较，可以加快网络的收敛速度；标准化是将数据利用z-score（均值、方差）的方法转化为符合特定分布的数据，方便进行下一步处理，不为比较。
18、熵
熵是指样本的随机程度。样本越无序，熵越大，信息越多。
19、SGD中S(stochastic)代表什么
StochasticGradientDescent随机梯度下降。GD即Full-Batch，SGD即为Mini-Batch。随机性表现在训练数据的shuffle。
20、SoftmaxLoss推倒
21、RectifiedLinearUnit,ReLU激活`函数缺点以及优点比较
22、ReLU比Sigmoid、Tanh好的原因
23、引入非线性激活函数的原因？
指数函数运算量大。ReLU节省运算量。（计算量小）Sigmoid容易引发梯度消失问题，因为Sigmoid函数在两端的导数趋近于0.（解决梯度消失问题）ReLU使得一部分神经元死亡，这样可以使得网络变得比较稀疏，缓解了过拟合的发生。（避免过拟合）
24、若使用线性激活函数，则无论神经网络有多少层，输出都是输入的线性组合。
好的激活函数有以下特点：
非线性：即导数不是常数。 几乎处处可微：可微性保证了在优化中梯度的可计算性。 计算简单。 非饱和性（saturation）：饱和指的是在某些区间梯度接近于零（即梯度消失），使得参数无法继续更新的问题。 单调性（monotonic）：即导数符号不变。 输出范围有限：有限的输出范围使得网络对于一些比较大的输入也会比较稳定 接近恒等变换（identity）：即约等于x。这样的好处是使得输出的幅值不会随着深度的增加而发生显著的增加 参数少：大部分激活函数都是没有参数的。 归一化（normalization）：这个是最近才出来的概念，对应的激活函数是SELU。类似于BatchNormalization25、什么造成了梯度消失和梯度膨胀？
深度网络的链式连乘法则，使得反向传播时到达前几层时，权值更新值非常小或非常大。可以通过ReLU解决一部分。
26、各大指标
混淆矩阵
包含四部分的信息：1.Truenegative(TN)，称为真阴率，表明实际是负样本预测成负样本的样本数2.Falsepositive(FP)，称为假阳率，表明实际是负样本预测成正样本的样本数3.Falsenegative(FN)，称为假阴率，表明实际是正样本预测成负样本的样本数4.Truepositive(TP)，称为真阳率，表明实际是正样本预测成正样本的样本数ROC曲线
二分类标签的输出概率需要定义一个阈值p，p值的选取反映了分类器的分类性能。ROC曲线的横轴为FP（将真实负样本预测为了正样本，越低越好），纵轴为TP（将真实正样本预测为正样本，越高越好）
(0,0)：假阳率和真阳率都为0，即分类器全部预测成负样本(0,1)：假阳率为0，真阳率为1，全部完美预测正确，happy(1,0)：假阳率为1，真阳率为0，全部完美预测错误，悲剧(1,1)：假阳率和真阳率都为1，即分类器全部预测成正样本TPR＝FPR，斜对角线，预测为正样本的结果一半是对的，一半是错的，随机分类则，若ROC曲线处于对角线之下，则分类性能差于随机分类器。希望该曲线向左上角凸。AUC指标
AUC(AreaundertheROCcurve)，适用于二元分类问题，AUC实际上就是ROC曲线下的面积。AUC直观地反映了ROC曲线表达的分类能力。
AUC＝1，代表完美分类器 0.5