人工智能入门课程学习（6）——线性回归 人工智能十大算法线性回归

人工智能入门课程学习（6）——线性回归

文章目录1.线性回归的简介1.1定义1.2线性回归的应用场景1.3线性模型理解使用线性回归的API解决上边的期末成绩案例线性回归API解决的数据代码实现2.线性回归的损失与优化2.1损失函数2.2优化方法3.scikit里边的线性回归api具体介绍4.案例：波士顿放假预测4.1分析4.2回归性能评估4.3代码1.使用标准的线性回归方法预测2.使用梯度下降法来预测5.欠拟合和过拟合5.1定义概述5.2原因以及解决办法6.线性回归的改进-岭回归6.1API引用6.2改进房价预测案例7.模型的加载与保存8.总结1.线性回归的简介1.1定义

线性回归(Linearregression)是利用回归方程(函数)对**一个或多个自变量(特征值)和因变量(目标值)**之间关系进行建模的一种分析方式。

特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归

1.2线性回归的应用场景

房价预测

销售额度预测

贷款额度预测

1.3线性模型理解

举两个例子：

期末成绩：0.7×考试成绩+0.3×平时成绩房子价格=0.02×中心区域的距离+0.04×城市一氧化氮浓度+(-0.12×自住房平均房价)+0.254×城镇犯罪率

上面两个例子，我们看到特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。

使用线性回归的API解决上边的期末成绩案例线性回归APIsklearn.linear_model.LinearRegression()LinearRegression.coef_：回归系数解决的数据

代码实现

2.线性回归的损失与优化

在实际中，真实的回归系数与我们预测的回归系数可能截然不同，真实结果与预测结果之间的差值我们就用损失函数来表示。

2.1损失函数

总损失定义为：如何去减少这个损失，使我们预测的更加准确些？既然存在了这个损失，我们一直说机器学习有自动学习的功能，在线性回归这里更是能够体现。这里可以通过一些优化方法去优化（其实是数学当中的求导功能）回归的总损失！很多时候对算法的优化就是在求在J(θ)取得最小值（极小值）的时候，对应的回归系数w的值求J(θ)的极小值的时候常常会遇到局部最优问题，如何解决局部最优问题，找到全局的最优值是机器学习中的重点。

2.2优化方法

常用的优化方法包括正规方程法和梯度下降法。两者的对比：常用的梯度下降法：

全梯度下降算法(Fullgradientdescent）FG随机梯度下降算法（Stochasticgradientdescent）SG随机平均梯度下降算法（Stochasticaveragegradientdescent）SAG小批量梯度下降算法（Mini-batchgradientdescent）mini-bantch3.scikit里边的线性回归api具体介绍sklearn.linear_model.LinearRegression(fit_intercept=True)通过正规方程优化fit_intercept：是否计算偏置LinearRegression.coef_：回归系数LinearRegression.intercept_：偏置sklearn.linear_model.SGDRegressor(loss=“squared_loss”,fit_intercept=True,learning_rate=‘invscaling’,eta0=0.01)SGDRegressor类实现了随机梯度下降学习，它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。loss:损失类型loss=”squared_loss”:普通最小二乘法fit_intercept：是否计算偏置learning_rate:string,optional学习率填充‘constant’:eta=eta0‘optimal’:eta=1.0/(alpha*(t+t0))[default]‘invscaling’:eta=eta0/pow(t,power_t)-power_t=0.25:存在父类当中-对于一个常数值的学习率来说，可以使用learning_rate=’constant’，并使用eta0来指定学习率。SGDRegressor.coef_：回归系数SGDRegressor.intercept_：偏置

sklearn提供给我们两种实现的API，可以根据选择使用

4.案例：波士顿放假预测

4.1分析

回归当中的数据大小不一致，是否会导致结果影响较大。所以需要做标准化处理。

数据分割与标准化处理回归预测线性回归的算法效果评估4.2回归性能评估

均方误差(MeanSquaredError)MSE)评价机制：

sklearn.metrics.mean_squared_error(y_true,y_pred)均方误差回归损失y_true:真实值y_pred:预测值return:浮点数结果4.3代码1.使用标准的线性回归方法预测#1.导入数据load_bostan#2.数据的基本处理划分数据集#3.特征工程标准化#4.机器学习分别使用正规方程和梯度下降的方法来进行训练#5.模型评估使用MSE均方误差fromsklearn.datasetsimportload_bostonfromsklearn.model_selectionimporttrain_test_splitfromsklearn.preprocessingimportStandardScalerfromsklearn.linear_modelimportLinearRegressionfromsklearn.linear_modelimportSGDRegressorfromsklearn.metricsimportmean_squared_errorfromsklearn.linear_modelimportRidge##线性回归方法预测#1.导入数据load_bostandata=load_boston()#2.数据的基本处理划分数据集x_train,x_test,y_train,y_test=train_test_split(data.data,data.target,test_size=0.2,random_state=20)#3.特征工程标准化#3.1初始化标准化转换器transfer=StandardScaler()#3.2转换数据x_train=transfer.fit_transform(x_train)x_test=transfer.transform(x_test)#4.机器学习#4.1正规方程解决#构建模型初始化估计器estimator=LinearRegression()#训练模型estimator.fit(x_train,y_train)#5.模型评估MSE#先求出预测值y_predict=estimator.predict(x_test)#使用MSE评估mean_squared_error(y_pred=y_predict,y_true=y_test)

预测的结果为：

2.使用梯度下降法来预测#1.导入数据load_bostandata=load_boston()#2.数据的基本处理划分数据集x_train,x_test,y_train,y_test=train_test_split(data.data,data.target,test_size=0.2,random_state=20)#3.特征工程标准化#3.1初始化标准化转换器transfer=StandardScaler()#3.2转换数据x_train=transfer.fit_transform(x_train)x_test=transfer.transform(x_test)#4.机器学习#4.1梯度下降解决#构建模型初始化估计器设置迭代1000次停止，或者误差值小于0.001停止estimator=SGDRegressor(max_iter=1000,tol=0.001)#训练模型estimator.fit(x_train,y_train)#5.模型评估MSE#先求出预测值y_predict=estimator.predict(x_test)#使用MSE评估mean_squared_error(y_pred=y_predict,y_true=y_test)

5.欠拟合和过拟合5.1定义概述过拟合：一个假设在训练数据上能够获得比其他假设更好的拟合，但是在测试数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂)欠拟合：一个假设在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单)线性回归进行训练学习的时候变成模型会变得复杂，这里就对应前面再说的线性回归的两种关系，非线性关系的数据，也就是存在很多无用的特征或者现实中的事物特征跟目标值的关系并不是简单的线性关系。5.2原因以及解决办法欠拟合原因以及解决办法原因：学习到数据的特征过少解决办法：1）添加其他特征项，有时候我们模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。例如，“组合”、“泛化”、“相关性”三类特征是特征添加的重要手段，无论在什么场景，都可以照葫芦画瓢，总会得到意想不到的效果。除上面的特征之外，“上下文特征”、“平台特征”等等，都可以作为特征添加的首选项。2）添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强。过拟合原因以及解决办法原因：原始特征过多，存在一些嘈杂特征，模型过于复杂是因为模型尝试去兼顾各个测试数据点解决办法：1）重新清洗数据，导致过拟合的一个原因也有可能是数据不纯导致的，如果出现了过拟合就需要我们重新清洗数据。2）增大数据的训练量，还有一个原因就是我们用于训练的数据量太小导致的，训练数据占总数据的比例过小。3）正则化4）减少特征维度，防止维灾难6.线性回归的改进-岭回归6.1API引用

sklearn.linear_model.Ridge(alpha=1.0,fit_intercept=True,solver=“auto”,normalize=False)

具有l2正则化的线性回归alpha:正则化力度，也叫λλ取值：0~11~10solver:会根据数据自动选择优化方法sag:如果数据集、特征都比较大，选择该随机梯度下降优化normalize:数据是否进行标准化normalize=False:可以在fit之前调用preprocessing.StandardScaler标准化数据Ridge.coef_:回归权重Ridge.intercept_:回归偏置Ridge方法相当于SGDRegressor(penalty=‘l2’,loss=“squared_loss”),只不过SGDRegressor实现了一个普通的随机梯度下降学习，推荐使用Ridge(实现了SAG)

sklearn.linear_model.RidgeCV(_BaseRidgeCV,RegressorMixin)

具有l2正则化的线性回归，可以进行交叉验证coef_:回归系数6.2改进房价预测案例#1.导入数据load_bostandata=load_boston()#2.数据的基本处理划分数据集x_train,x_test,y_train,y_test=train_test_split(data.data,data.target,test_size=0.2,random_state=20)#3.特征工程标准化#3.1初始化标准化转换器transfer=StandardScaler()#3.2转换数据x_train=transfer.fit_transform(x_train)x_test=transfer.transform(x_test)#4.机器学习#4.1梯度下降解决#构建模型初始化估计器设置迭代1000次停止，或者误差值小于0.001停止estimator=Ridge(alpha=1.0)#训练模型estimator.fit(x_train,y_train)#5.模型评估MSE#先求出预测值y_predict=estimator.predict(x_test)#使用MSE评估mean_squared_error(y_pred=y_predict,y_true=y_test)

7.模型的加载与保存fromsklearn.externalsimportjoblib保存：joblib.dump(estimator,‘test.pkl’)加载：estimator=joblib.load(‘test.pkl’)8.总结

人工智能常见算法线性回归

人工智能的三大基石—算法、数据和计算能力，算法作为其中之一，是非常重要的，那么人工智能都会涉及哪些算法呢？不同算法适用于哪些场景呢？

一、按照模型训练方式不同可以分为监督学习（SupervisedLearning），无监督学习（UnsupervisedLearning）、半监督学习（Semi-supervisedLearning）和强化学习（ReinforcementLearning）四大类。

常见的监督学习算法包含以下几类：（1）人工神经网络（ArtificialNeuralNetwork）类：反向传播（Backpropagation）、波尔兹曼机（BoltzmannMachine）、卷积神经网络（ConvolutionalNeuralNetwork）、Hopfield网络（hopfieldNetwork）、多层感知器（MultilyerPerceptron）、径向基函数网络（RadialBasisFunctionNetwork，RBFN）、受限波尔兹曼机（RestrictedBoltzmannMachine）、回归神经网络（RecurrentNeuralNetwork，RNN）、自组织映射（Self-organizingMap，SOM）、尖峰神经网络（SpikingNeuralNetwork）等。（2）贝叶斯类（Bayesin）：朴素贝叶斯（NaiveBayes）、高斯贝叶斯（GaussianNaiveBayes）、多项朴素贝叶斯（MultinomialNaiveBayes）、平均-依赖性评估（AveragedOne-DependenceEstimators，AODE）贝叶斯信念网络（BayesianBeliefNetwork，BBN）、贝叶斯网络（BayesianNetwork，BN）等。（3）决策树（DecisionTree）类：分类和回归树（ClassificationandRegressionTree，CART）、迭代Dichotomiser3（IterativeDichotomiser3，ID3）,C4.5算法（C4.5Algorithm）、C5.0算法（C5.0Algorithm）、卡方自动交互检测（Chi-squaredAutomaticInteractionDetection，CHAID）、决策残端（DecisionStump）、ID3算法（ID3Algorithm）、随机森林（RandomForest）、SLIQ（SupervisedLearninginQuest）等。（4）线性分类器（LinearClassifier）类：Fisher的线性判别（Fisher’sLinearDiscriminant）线性回归（LinearRegression）、逻辑回归（LogisticRegression）、多项逻辑回归（MultionmialLogisticRegression）、朴素贝叶斯分类器（NaiveBayesClassifier）、感知（Perception）、支持向量机（SupportVectorMachine）等。

常见的无监督学习类算法包括：（1）人工神经网络（ArtificialNeuralNetwork）类：生成对抗网络（GenerativeAdversarialNetworks，GAN），前馈神经网络（FeedforwardNeuralNetwork）、逻辑学习机（LogicLearningMachine）、自组织映射（Self-organizingMap）等。（2）关联规则学习（AssociationRuleLearning）类：先验算法（AprioriAlgorithm）、Eclat算法（EclatAlgorithm）、FP-Growth算法等。（3）分层聚类算法（HierarchicalClustering）：单连锁聚类（Single-linkageClustering），概念聚类（ConceptualClustering）等。（4）聚类分析（Clusteranalysis）：BIRCH算法、DBSCAN算法，期望最大化（Expectation-maximization，EM）、模糊聚类（FuzzyClustering）、K-means算法、K均值聚类（K-meansClustering）、K-medians聚类、均值漂移算法（Mean-shift）、OPTICS算法等。（5）异常检测（Anomalydetection）类：K最邻近（K-nearestNeighbor，KNN）算法，局部异常因子算法（LocalOutlierFactor，LOF）等。

常见的半监督学习类算法包含：生成模型（GenerativeModels）、低密度分离（Low-densitySeparation）、基于图形的方法（Graph-basedMethods）、联合训练（Co-training）等。

常见的强化学习类算法包含：Q学习（Q-learning）、状态-行动-奖励-状态-行动（State-Action-Reward-State-Action，SARSA）、DQN（DeepQNetwork）、策略梯度算法（PolicyGradients）、基于模型强化学习（ModelBasedRL）、时序差分学习（TemporalDifferentLearning）等。

常见的深度学习类算法包含：深度信念网络（DeepBeliefMachines）、深度卷积神经网络（DeepConvolutionalNeuralNetworks）、深度递归神经网络（DeepRecurrentNeuralNetwork）、分层时间记忆（HierarchicalTemporalMemory，HTM）、深度波尔兹曼机（DeepBoltzmannMachine，DBM）、栈式自动编码器（StackedAutoencoder）、生成对抗网络（GenerativeAdversarialNetworks）等。

二、按照解决任务的不同来分类，粗略可以分为二分类算法（Two-classClassification）、多分类算法（Multi-classClassification）、回归算法（Regression）、聚类算法（Clustering）和异常检测（AnomalyDetection）五种。1.二分类（Two-classClassification）（1）二分类支持向量机（Two-classSVM）：适用于数据特征较多、线性模型的场景。（2）二分类平均感知器（Two-classAveragePerceptron）：适用于训练时间短、线性模型的场景。（3）二分类逻辑回归（Two-classLogisticRegression）：适用于训练时间短、线性模型的场景。（4）二分类贝叶斯点机（Two-classBayesPointMachine）：适用于训练时间短、线性模型的场景。（5）二分类决策森林（Two-classDecisionForest）：适用于训练时间短、精准的场景。（6）二分类提升决策树（Two-classBoostedDecisionTree）：适用于训练时间短、精准度高、内存占用量大的场景（7）二分类决策丛林（Two-classDecisionJungle）：适用于训练时间短、精确度高、内存占用量小的场景。（8）二分类局部深度支持向量机（Two-classLocallyDeepSVM）：适用于数据特征较多的场景。（9）二分类神经网络（Two-classNeuralNetwork）：适用于精准度高、训练时间较长的场景。

解决多分类问题通常适用三种解决方案：第一种，从数据集和适用方法入手，利用二分类器解决多分类问题；第二种，直接使用具备多分类能力的多分类器；第三种，将二分类器改进成为多分类器今儿解决多分类问题。常用的算法：（1）多分类逻辑回归（MulticlassLogisticRegression）：适用训练时间短、线性模型的场景。（2）多分类神经网络（MulticlassNeuralNetwork）：适用于精准度高、训练时间较长的场景。（3）多分类决策森林（MulticlassDecisionForest）：适用于精准度高，训练时间短的场景。（4）多分类决策丛林（MulticlassDecisionJungle）：适用于精准度高，内存占用较小的场景。（5）“一对多”多分类（One-vs-allMulticlass）：取决于二分类器效果。

回归回归问题通常被用来预测具体的数值而非分类。除了返回的结果不同，其他方法与分类问题类似。我们将定量输出，或者连续变量预测称为回归；将定性输出，或者离散变量预测称为分类。长巾的算法有：（1）排序回归（OrdinalRegression）：适用于对数据进行分类排序的场景。（2）泊松回归（PoissionRegression）：适用于预测事件次数的场景。（3）快速森林分位数回归（FastForestQuantileRegression）：适用于预测分布的场景。（4）线性回归（LinearRegression）：适用于训练时间短、线性模型的场景。（5）贝叶斯线性回归（BayesianLinearRegression）：适用于线性模型，训练数据量较少的场景。（6）神经网络回归（NeuralNetworkRegression）：适用于精准度高、训练时间较长的场景。https://www.wenjuan.com/s/AJbEZ3c/https://www.wenjuan.com/s/AJbEZ3chttps://www.wenjuan.com/z/AJbEZ3c/https://www.wenjuan.com/z/AJbEZ3chttps://www.wenjuan.com/s/URv6v2G/https://www.wenjuan.com/s/URv6v2Ghttps://www.wenjuan.com/z/URv6v2G/https://www.wenjuan.com/z/URv6v2Ghttps://www.wenjuan.com/s/7ZvyMzE/https://www.wenjuan.com/s/7ZvyMzEhttps://www.wenjuan.com/z/7ZvyMzE/https://www.wenjuan.com/z/7ZvyMzEhttps://www.wenjuan.com/s/ZFna6nv/https://www.wenjuan.com/s/ZFna6nvhttps://www.wenjuan.com/z/ZFna6nv/https://www.wenjuan.com/z/ZFna6nvhttps://www.wenjuan.com/s/I3aIZz/https://www.wenjuan.com/s/I3aIZzhttps://www.wenjuan.com/z/I3aIZz/https://www.wenjuan.com/z/I3aIZzhttps://www.wenjuan.com/s/y2MFvy/https://www.wenjuan.com/s/y2MFvyhttps://www.wenjuan.com/z/y2MFvy/https://www.wenjuan.com/z/y2MFvyhttps://www.wenjuan.com/s/FVr26r6/https://www.wenjuan.com/s/FVr26r6https://www.wenjuan.com/z/FVr26r6/https://www.wenjuan.com/z/FVr26r6https://www.wenjuan.com/s/yeQ7ZnD/https://www.wenjuan.com/s/yeQ7ZnDhttps://www.wenjuan.com/z/yeQ7ZnD/https://www.wenjuan.com/z/yeQ7ZnDhttps://www.wenjuan.com/s/Zbm6jaG/https://www.wenjuan.com/s/Zbm6jaGhttps://www.wenjuan.com/z/Zbm6jaG/https://www.wenjuan.com/z/Zbm6jaGhttps://www.wenjuan.com/s/j2ueU3/https://www.wenjuan.com/s/j2ueU3https://www.wenjuan.com/z/j2ueU3/https://www.wenjuan.com/z/j2ueU3https://www.wenjuan.com/s/RJrquqnt/https://www.wenjuan.com/s/RJrquqnthttps://www.wenjuan.com/z/RJrquqnt/https://www.wenjuan.com/z/RJrquqnthttps://www.wenjuan.com/s/nUzUNfJ/https://www.wenjuan.com/s/nUzUNfJhttps://www.wenjuan.com/z/nUzUNfJ/https://www.wenjuan.com/z/nUzUNfJhttps://www.wenjuan.com/s/ZriIbm/https://www.wenjuan.com/s/ZriIbmhttps://www.wenjuan.com/z/ZriIbm/https://www.wenjuan.com/z/ZriIbmhttps://www.wenjuan.com/s/FJrA3aO/https://www.wenjuan.com/s/FJrA3aOhttps://www.wenjuan.com/z/FJrA3aO/https://www.wenjuan.com/z/FJrA3aOhttps://www.wenjuan.com/s/rAbqymc/https://www.wenjuan.com/s/rAbqymchttps://www.wenjuan.com/z/rAbqymc/https://www.wenjuan.com/z/rAbqymchttps://www.wenjuan.com/s/EBV3eiC/https://www.wenjuan.com/s/EBV3eiChttps://www.wenjuan.com/z/EBV3eiC/https://www.wenjuan.com/z/EBV3eiChttps://www.wenjuan.com/s/jYfuAzg/https://www.wenjuan.com/s/jYfuAzghttps://www.wenjuan.com/z/jYfuAzg/https://www.wenjuan.com/z/jYfuAzghttps://www.wenjuan.com/s/32YNR3Q/https://www.wenjuan.com/s/32YNR3Qhttps://www.wenjuan.com/z/32YNR3Q/https://www.wenjuan.com/z/32YNR3Qhttps://www.wenjuan.com/s/EnqIFjZ/https://www.wenjuan.com/s/EnqIFjZhttps://www.wenjuan.com/z/EnqIFjZ/https://www.wenjuan.com/z/EnqIFjZhttps://www.wenjuan.com/s/aUzI3ul/https://www.wenjuan.com/s/aUzI3ulhttps://www.wenjuan.com/z/aUzI3ul/https://www.wenjuan.com/z/aUzI3ulhttps://www.wenjuan.com/s/6z2qyqQ/https://www.wenjuan.com/s/6z2qyqQhttps://www.wenjuan.com/z/6z2qyqQ/https://www.wenjuan.com/z/6z2qyqQhttps://www.wenjuan.com/s/BfAviiY/https://www.wenjuan.com/s/BfAviiYhttps://www.wenjuan.com/z/BfAviiY/https://www.wenjuan.com/z/BfAviiYhttps://www.wenjuan.com/s/jmEVvu4/https://www.wenjuan.com/s/jmEVvu4https://www.wenjuan.com/z/jmEVvu4/https://www.wenjuan.com/z/jmEVvu4https://www.wenjuan.com/s/6jyEj2K/https://www.wenjuan.com/s/6jyEj2Khttps://www.wenjuan.com/z/6jyEj2K/https://www.wenjuan.com/z/6jyEj2Khttps://www.wenjuan.com/s/qumaIfo/https://www.wenjuan.com/s/qumaIfohttps://www.wenjuan.com/z/qumaIfo/https://www.wenjuan.com/z/qumaIfohttps://www.wenjuan.com/s/2aaI3yH/https://www.wenjuan.com/s/2aaI3yHhttps://www.wenjuan.com/z/2aaI3yH/https://www.wenjuan.com/z/2aaI3yHhttps://www.wenjuan.com/s/I3Q7vuh/https://www.wenjuan.com/s/I3Q7vuhhttps://www.wenjuan.com/z/I3Q7vuh/https://www.wenjuan.com/z/I3Q7vuhhttps://www.wenjuan.com/s/veYZFvm/https://www.wenjuan.com/s/veYZFvmhttps://www.wenjuan.com/z/veYZFvm/https://www.wenjuan.com/z/veYZFvmhttps://www.wenjuan.com/s/jqQ7RfZ/https://www.wenjuan.com/s/jqQ7RfZhttps://www.wenjuan.com/z/jqQ7RfZ/https://www.wenjuan.com/z/jqQ7RfZhttps://www.wenjuan.com/s/MVZJruT/https://www.wenjuan.com/s/MVZJruThttps://www.wenjuan.com/z/MVZJruT/https://www.wenjuan.com/z/MVZJruThttps://www.wenjuan.com/s/uqyUbuv/https://www.wenjuan.com/s/uqyUbuvhttps://www.wenjuan.com/z/uqyUbuv/https://www.wenjuan.com/z/uqyUbuvhttps://www.wenjuan.com/s/bQr6Bfj/https://www.wenjuan.com/s/bQr6Bfjhttps://www.wenjuan.com/z/bQr6Bfj/https://www.wenjuan.com/z/bQr6Bfjhttps://www.wenjuan.com/s/NJzQBng/https://www.wenjuan.com/s/NJzQBnghttps://www.wenjuan.com/z/NJzQBng/https://www.wenjuan.com/z/NJzQBnghttps://www.wenjuan.com/s/fYRZFzm/https://www.wenjuan.com/s/fYRZFzmhttps://www.wenjuan.com/z/fYRZFzm/https://www.wenjuan.com/z/fYRZFzmhttps://www.wenjuan.com/s/zuEjqaG/https://www.wenjuan.com/s/zuEjqaGhttps://www.wenjuan.com/z/zuEjqaG/https://www.wenjuan.com/z/zuEjqaGhttps://www.wenjuan.com/s/22A7b2s/https://www.wenjuan.com/s/22A7b2shttps://www.wenjuan.com/z/22A7b2s/https://www.wenjuan.com/z/22A7b2shttps://www.wenjuan.com/s/iaArier/https://www.wenjuan.com/s/iaArierhttps://www.wenjuan.com/z/iaArier/https://www.wenjuan.com/z/iaArierhttps://www.wenjuan.com/s/IfEreyZY/https://www.wenjuan.com/s/IfEreyZYhttps://www.wenjuan.com/z/IfEreyZY/https://www.wenjuan.com/z/IfEreyZYhttps://www.wenjuan.com/s/v63qAzz/https://www.wenjuan.com/s/v63qAzzhttps://www.wenjuan.com/z/v63qAzz/https://www.wenjuan.com/z/v63qAzzhttps://www.wenjuan.com/s/73iMbal/https://www.wenjuan.com/s/73iMbalhttps://www.wenjuan.com/z/73iMbal/https://www.wenjuan.com/z/73iMbalhttps://www.wenjuan.com/s/vuYzyuX/https://www.wenjuan.com/s/vuYzyuXhttps://www.wenjuan.com/z/vuYzyuX/https://www.wenjuan.com/z/vuYzyuXhttps://www.wenjuan.com/s/mAnMVn/https://www.wenjuan.com/s/mAnMVnhttps://www.wenjuan.com/z/mAnMVn/https://www.wenjuan.com/z/mAnMVnhttps://www.wenjuan.com/s/ZVbi2q7/https://www.wenjuan.com/s/ZVbi2q7https://www.wenjuan.com/z/ZVbi2q7/https://www.wenjuan.com/z/ZVbi2q7https://www.wenjuan.com/s/NJRNJvG/https://www.wenjuan.com/s/NJRNJvGhttps://www.wenjuan.com/z/NJRNJvG/https://www.wenjuan.com/z/NJRNJvGhttps://www.wenjuan.com/s/F7FRVn4/https://www.wenjuan.com/s/F7FRVn4https://www.wenjuan.com/z/F7FRVn4/https://www.wenjuan.com/z/F7FRVn4https://www.wenjuan.com/s/iIFz63e/https://www.wenjuan.com/s/iIFz63ehttps://www.wenjuan.com/z/iIFz63e/https://www.wenjuan.com/z/iIFz63ehttps://www.wenjuan.com/s/AVf6Zn/https://www.wenjuan.com/s/AVf6Znhttps://www.wenjuan.com/z/AVf6Zn/https://www.wenjuan.com/z/AVf6Znhttps://www.wenjuan.com/s/aMNNNj6/https://www.wenjuan.com/s/aMNNNj6https://www.wenjuan.com/z/aMNNNj6/https://www.wenjuan.com/z/aMNNNj6https://www.wenjuan.com/s/Vze26bP/https://www.wenjuan.com/s/Vze26bPhttps://www.wenjuan.com/z/Vze26bP/https://www.wenjuan.com/z/Vze26bPhttps://www.wenjuan.com/s/jAnqYnO/https://www.wenjuan.com/s/jAnqYnOhttps://www.wenjuan.com/z/jAnqYnO/https://www.wenjuan.com/z/jAnqYnOhttps://www.wenjuan.com/s/jyquUbw/https://www.wenjuan.com/s/jyquUbwhttps://www.wenjuan.com/z/jyquUbw/https://www.wenjuan.com/z/jyquUbwhttps://www.wenjuan.com/s/7nMveeX/https://www.wenjuan.com/s/7nMveeXhttps://www.wenjuan.com/z/7nMveeX/https://www.wenjuan.com/z/7nMveeXhttps://www.wenjuan.com/s/3IZNFbn/https://www.wenjuan.com/s/3IZNFbnhttps://www.wenjuan.com/z/3IZNFbn/https://www.wenjuan.com/z/3IZNFbnhttps://www.wenjuan.com/s/yu6BVb/https://www.wenjuan.com/s/yu6BVbhttps://www.wenjuan.com/z/yu6BVb/https://www.wenjuan.com/z/yu6BVbhttps://www.wenjuan.com/s/mymmUjE/https://www.wenjuan.com/s/mymmUjEhttps://www.wenjuan.com/z/mymmUjE/https://www.wenjuan.com/z/mymmUjEhttps://www.wenjuan.com/s/2Qjm6fU/https://www.wenjuan.com/s/2Qjm6fUhttps://www.wenjuan.com/z/2Qjm6fU/https://www.wenjuan.com/z/2Qjm6fUhttps://www.wenjuan.com/s/a6B36b/https://www.wenjuan.com/s/a6B36bhttps://www.wenjuan.com/z/a6B36b/https://www.wenjuan.com/z/a6B36bhttps://www.wenjuan.com/s/VV3Qvie/https://www.wenjuan.com/s/VV3Qviehttps://www.wenjuan.com/z/VV3Qvie/https://www.wenjuan.com/z/VV3Qviehttps://www.wenjuan.com/s/6N7fy2J/https://www.wenjuan.com/s/6N7fy2Jhttps://www.wenjuan.com/z/6N7fy2J/https://www.wenjuan.com/z/6N7fy2Jhttps://www.wenjuan.com/s/uiqMjeZ/https://www.wenjuan.com/s/uiqMjeZhttps://www.wenjuan.com/z/uiqMjeZ/https://www.wenjuan.com/z/uiqMjeZhttps://www.wenjuan.com/s/J73QBv/https://www.wenjuan.com/s/J73QBvhttps://www.wenjuan.com/z/J73QBv/https://www.wenjuan.com/z/J73QBvhttps://www.wenjuan.com/s/6ZBrUfn/https://www.wenjuan.com/s/6ZBrUfnhttps://www.wenjuan.com/z/6ZBrUfn/https://www.wenjuan.com/z/6ZBrUfnhttps://www.wenjuan.com/s/rYv6Nrp/https://www.wenjuan.com/s/rYv6Nrphttps://www.wenjuan.com/z/rYv6Nrp/https://www.wenjuan.com/z/rYv6Nrphttps://www.wenjuan.com/s/NJ7Jv2/https://www.wenjuan.com/s/NJ7Jv2https://www.wenjuan.com/z/NJ7Jv2/https://www.wenjuan.com/z/NJ7Jv2https://www.wenjuan.com/s/ii2Q7zH/https://www.wenjuan.com/s/ii2Q7zHhttps://www.wenjuan.com/z/ii2Q7zH/https://www.wenjuan.com/z/ii2Q7zHhttps://www.wenjuan.com/s/JZbAZj8/https://www.wenjuan.com/s/JZbAZj8https://www.wenjuan.com/z/JZbAZj8/https://www.wenjuan.com/z/JZbAZj8https://www.wenjuan.com/s/QzEzMj/https://www.wenjuan.com/s/QzEzMjhttps://www.wenjuan.com/z/QzEzMj/https://www.wenjuan.com/z/QzEzMjhttps://www.wenjuan.com/s/yMRRzuw/https://www.wenjuan.com/s/yMRRzuwhttps://www.wenjuan.com/z/yMRRzuw/https://www.wenjuan.com/z/yMRRzuwhttps://www.wenjuan.com/s/jYNRJrn/https://www.wenjuan.com/s/jYNRJrnhttps://www.wenjuan.com/z/jYNRJrn/https://www.wenjuan.com/z/jYNRJrnhttps://www.wenjuan.com/s/a6jQRn/https://www.wenjuan.com/s/a6jQRnhttps://www.wenjuan.com/z/a6jQRn/https://www.wenjuan.com/z/a6jQRnhttps://www.wenjuan.com/s/EFruU3S/https://www.wenjuan.com/s/EFruU3Shttps://www.wenjuan.com/z/EFruU3S/https://www.wenjuan.com/z/EFruU3Shttps://www.wenjuan.com/s/3Yjymuo/https://www.wenjuan.com/s/3Yjymuohttps://www.wenjuan.com/z/3Yjymuo/https://www.wenjuan.com/z/3Yjymuohttps://www.wenjuan.com/s/quEVZn/https://www.wenjuan.com/s/quEVZnhttps://www.wenjuan.com/z/quEVZn/https://www.wenjuan.com/z/quEVZnhttps://www.wenjuan.com/s/22MJRr8/https://www.wenjuan.com/s/22MJRr8https://www.wenjuan.com/z/22MJRr8/https://www.wenjuan.com/z/22MJRr8https://www.wenjuan.com/s/ra2ui2m/https://www.wenjuan.com/s/ra2ui2mhttps://www.wenjuan.com/z/ra2ui2m/https://www.wenjuan.com/z/ra2ui2mhttps://www.wenjuan.com/s/qEZfEvE/https://www.wenjuan.com/s/qEZfEvEhttps://www.wenjuan.com/z/qEZfEvE/https://www.wenjuan.com/z/qEZfEvEhttps://www.wenjuan.com/s/IZ3MRz7/https://www.wenjuan.com/s/IZ3MRz7https://www.wenjuan.com/z/IZ3MRz7/https://www.wenjuan.com/z/IZ3MRz7https://www.wenjuan.com/s/jmiuamY/https://www.wenjuan.com/s/jmiuamYhttps://www.wenjuan.com/z/jmiuamY/https://www.wenjuan.com/z/jmiuamYhttps://www.wenjuan.com/s/JNryMrP/https://www.wenjuan.com/s/JNryMrPhttps://www.wenjuan.com/z/JNryMrP/https://www.wenjuan.com/z/JNryMrPhttps://www.wenjuan.com/s/qmaIzaR/https://www.wenjuan.com/s/qmaIzaRhttps://www.wenjuan.com/z/qmaIzaR/https://www.wenjuan.com/z/qmaIzaRhttps://www.wenjuan.com/s/YvYfey/https://www.wenjuan.com/s/YvYfeyhttps://www.wenjuan.com/z/YvYfey/https://www.wenjuan.com/z/YvYfeyhttps://www.wenjuan.com/s/uuANr2W/https://www.wenjuan.com/s/uuANr2Whttps://www.wenjuan.com/z/uuANr2W/https://www.wenjuan.com/z/uuANr2Whttps://www.wenjuan.com/s/BbmUzeX/https://www.wenjuan.com/s/BbmUzeXhttps://www.wenjuan.com/z/BbmUzeX/https://www.wenjuan.com/z/BbmUzeXhttps://www.wenjuan.com/s/YNVBVn/https://www.wenjuan.com/s/YNVBVnhttps://www.wenjuan.com/z/YNVBVn/https://www.wenjuan.com/z/YNVBVnhttps://www.wenjuan.com/s/r2aIru/https://www.wenjuan.com/s/r2aIruhttps://www.wenjuan.com/z/r2aIru/https://www.wenjuan.com/z/r2aIruhttps://www.wenjuan.com/s/qMn2QfQ/https://www.wenjuan.com/s/qMn2QfQhttps://www.wenjuan.com/z/qMn2QfQ/https://www.wenjuan.com/z/qMn2QfQhttps://www.wenjuan.com/s/QF7Vnq/https://www.wenjuan.com/s/QF7Vnqhttps://www.wenjuan.com/z/QF7Vnq/https://www.wenjuan.com/z/QF7Vnqhttps://www.wenjuan.com/s/quuAfe/https://www.wenjuan.com/s/quuAfehttps://www.wenjuan.com/z/quuAfe/https://www.wenjuan.com/z/quuAfehttps://www.wenjuan.com/s/Zb63e2/https://www.wenjuan.com/s/Zb63e2https://www.wenjuan.com/z/Zb63e2/https://www.wenjuan.com/z/Zb63e2https://www.wenjuan.com/s/aMRnIfy/https://www.wenjuan.com/s/aMRnIfyhttps://www.wenjuan.com/z/aMRnIfy/https://www.wenjuan.com/z/aMRnIfyhttps://www.wenjuan.com/s/J73ameQ/https://www.wenjuan.com/s/J73ameQhttps://www.wenjuan.com/z/J73ameQ/https://www.wenjuan.com/z/J73ameQhttps://www.wenjuan.com/s/buUzye5/https://www.wenjuan.com/s/buUzye5https://www.wenjuan.com/z/buUzye5/https://www.wenjuan.com/z/buUzye5https://www.wenjuan.com/s/AvY7jmz/https://www.wenjuan.com/s/AvY7jmzhttps://www.wenjuan.com/z/AvY7jmz/https://www.wenjuan.com/z/AvY7jmzhttps://www.wenjuan.com/s/EZJ7Nb/https://www.wenjuan.com/s/EZJ7Nbhttps://www.wenjuan.com/z/EZJ7Nb/https://www.wenjuan.com/z/EZJ7Nbhttps://www.wenjuan.com/s/yy2Uvq8/https://www.wenjuan.com/s/yy2Uvq8https://www.wenjuan.com/z/yy2Uvq8/https://www.wenjuan.com/z/yy2Uvq8https://www.wenjuan.com/s/yMrama/https://www.wenjuan.com/s/yMramahttps://www.wenjuan.com/z/yMrama/https://www.wenjuan.com/z/yMramahttps://www.wenjuan.com/s/FbEvMb2/https://www.wenjuan.com/s/FbEvMb2https://www.wenjuan.com/z/FbEvMb2/https://www.wenjuan.com/z/FbEvMb2https://www.wenjuan.com/s/nU3a2uX/https://www.wenjuan.com/s/nU3a2uXhttps://www.wenjuan.com/z/nU3a2uX/https://www.wenjuan.com/z/nU3a2uXhttps://www.wenjuan.com/s/B3uiUzP/https://www.wenjuan.com/s/B3uiUzPhttps://www.wenjuan.com/z/B3uiUzP/https://www.wenjuan.com/z/B3uiUzPhttps://www.wenjuan.com/s/rErA3ah/https://www.wenjuan.com/s/rErA3ahhttps://www.wenjuan.com/z/rErA3ah/https://www.wenjuan.com/z/rErA3ahhttps://www.wenjuan.com/s/Bvqe2aP/https://www.wenjuan.com/s/Bvqe2aPhttps://www.wenjuan.com/z/Bvqe2aP/https://www.wenjuan.com/z/Bvqe2aPhttps://www.wenjuan.com/s/732eAz7/https://www.wenjuan.com/s/732eAz7https://www.wenjuan.com/z/732eAz7/https://www.wenjuan.com/z/732eAz7https://www.wenjuan.com/s/RBJfEbp/https://www.wenjuan.com/s/RBJfEbphttps://www.wenjuan.com/z/RBJfEbp/https://www.wenjuan.com/z/RBJfEbphttps://www.wenjuan.com/s/6fMfuqg/https://www.wenjuan.com/s/6fMfuqghttps://www.wenjuan.com/z/6fMfuqg/https://www.wenjuan.com/z/6fMfuqghttps://www.wenjuan.com/s/JjmqqiJ/https://www.wenjuan.com/s/JjmqqiJhttps://www.wenjuan.com/z/JjmqqiJ/https://www.wenjuan.com/z/JjmqqiJhttps://www.wenjuan.com/s/ZVfAF3P/https://www.wenjuan.com/s/ZVfAF3Phttps://www.wenjuan.com/z/ZVfAF3P/https://www.wenjuan.com/z/ZVfAF3Phttps://www.wenjuan.com/s/fUbeUbM/https://www.wenjuan.com/s/fUbeUbMhttps://www.wenjuan.com/z/fUbeUbM/https://www.wenjuan.com/z/fUbeUbMhttps://www.wenjuan.com/s/3yQrUb7/https://www.wenjuan.com/s/3yQrUb7https://www.wenjuan.com/z/3yQrUb7/https://www.wenjuan.com/z/3yQrUb7https://www.wenjuan.com/s/JFZreaC/https://www.wenjuan.com/s/JFZreaChttps://www.wenjuan.com/z/JFZreaC/https://www.wenjuan.com/z/JFZreaChttps://www.wenjuan.com/s/b2UjYb/https://www.wenjuan.com/s/b2UjYbhttps://www.wenjuan.com/z/b2UjYb/https://www.wenjuan.com/z/b2UjYbhttps://www.wenjuan.com/s/Mfmquu9/https://www.wenjuan.com/s/Mfmquu9https://www.wenjuan.com/z/Mfmquu9/https://www.wenjuan.com/z/Mfmquu9https://www.wenjuan.com/s/nmaY3q/https://www.wenjuan.com/s/nmaY3qhttps://www.wenjuan.com/z/nmaY3q/https://www.wenjuan.com/z/nmaY3qhttps://www.wenjuan.com/s/EZBRRnZ/https://www.wenjuan.com/s/EZBRRnZhttps://www.wenjuan.com/z/EZBRRnZ/https://www.wenjuan.com/z/EZBRRnZhttps://www.wenjuan.com/s/BfmAVvx/https://www.wenjuan.com/s/BfmAVvxhttps://www.wenjuan.com/z/BfmAVvx/https://www.wenjuan.com/z/BfmAVvxhttps://www.wenjuan.com/s/jiMJfe7/https://www.wenjuan.com/s/jiMJfe7https://www.wenjuan.com/z/jiMJfe7/https://www.wenjuan.com/z/jiMJfe7https://www.wenjuan.com/s/MJfAJjg/https://www.wenjuan.com/s/MJfAJjghttps://www.wenjuan.com/z/MJfAJjg/https://www.wenjuan.com/z/MJfAJjghttps://www.wenjuan.com/s/aqyuiak/https://www.wenjuan.com/s/aqyuiakhttps://www.wenjuan.com/z/aqyuiak/https://www.wenjuan.com/z/aqyuiakhttps://www.wenjuan.com/s/3iM7Vjy/https://www.wenjuan.com/s/3iM7Vjyhttps://www.wenjuan.com/z/3iM7Vjy/https://www.wenjuan.com/z/3iM7Vjyhttps://www.wenjuan.com/s/6RnMJrJ/https://www.wenjuan.com/s/6RnMJrJhttps://www.wenjuan.com/z/6RnMJrJ/https://www.wenjuan.com/z/6RnMJrJhttps://www.wenjuan.com/s/Bja2Q3j/https://www.wenjuan.com/s/Bja2Q3jhttps://www.wenjuan.com/z/Bja2Q3j/https://www.wenjuan.com/z/Bja2Q3jhttps://www.wenjuan.com/s/3qQN7jZ/https://www.wenjuan.com/s/3qQN7jZhttps://www.wenjuan.com/z/3qQN7jZ/https://www.wenjuan.com/z/3qQN7jZhttps://www.wenjuan.com/s/EzyMra/https://www.wenjuan.com/s/EzyMrahttps://www.wenjuan.com/z/EzyMra/https://www.wenjuan.com/z/EzyMrahttps://www.wenjuan.com/s/JNzm2mn/https://www.wenjuan.com/s/JNzm2mnhttps://www.wenjuan.com/z/JNzm2mn/https://www.wenjuan.com/z/JNzm2mnhttps://www.wenjuan.com/s/vY7jqmc/https://www.wenjuan.com/s/vY7jqmchttps://www.wenjuan.com/z/vY7jqmc/https://www.wenjuan.com/z/vY7jqmchttps://www.wenjuan.com/s/BZriUrL/https://www.wenjuan.com/s/BZriUrLhttps://www.wenjuan.com/z/BZriUrL/https://www.wenjuan.com/z/BZriUrLhttps://www.wenjuan.com/s/IJzuAjI/https://www.wenjuan.com/s/IJzuAjIhttps://www.wenjuan.com/z/IJzuAjI/https://www.wenjuan.com/z/IJzuAjIhttps://www.wenjuan.com/s/MbuEjqS/https://www.wenjuan.com/s/MbuEjqShttps://www.wenjuan.com/z/MbuEjqS/https://www.wenjuan.com/z/MbuEjqShttps://www.wenjuan.com/s/UZBNfeG/https://www.wenjuan.com/s/UZBNfeGhttps://www.wenjuan.com/z/UZBNfeG/https://www.wenjuan.com/z/UZBNfeGhttps://www.wenjuan.com/s/iMvUby/https://www.wenjuan.com/s/iMvUbyhttps://www.wenjuan.com/z/iMvUby/https://www.wenjuan.com/z/iMvUbyhttps://www.wenjuan.com/s/aqYzqyL/https://www.wenjuan.com/s/aqYzqyLhttps://www.wenjuan.com/z/aqYzqyL/https://www.wenjuan.com/z/aqYzqyLhttps://www.wenjuan.com/s/AFrUFz/https://www.wenjuan.com/s/AFrUFzhttps://www.wenjuan.com/z/AFrUFz/https://www.wenjuan.com/z/AFrUFzhttps://www.wenjuan.com/s/IbeUN3q/https://www.wenjuan.com/s/IbeUN3qhttps://www.wenjuan.com/z/IbeUN3q/https://www.wenjuan.com/z/IbeUN3qhttps://www.wenjuan.com/s/MRNfIfy/https://www.wenjuan.com/s/MRNfIfyhttps://www.wenjuan.com/z/MRNfIfy/https://www.wenjuan.com/z/MRNfIfyhttps://www.wenjuan.com/s/myeQ73W/https://www.wenjuan.com/s/myeQ73Whttps://www.wenjuan.com/z/myeQ73W/https://www.wenjuan.com/z/myeQ73Whttps://www.wenjuan.com/s/Efqy2aD/https://www.wenjuan.com/s/Efqy2aDhttps://www.wenjuan.com/z/Efqy2aD/https://www.wenjuan.com/z/Efqy2aDhttps://www.wenjuan.com/s/Ffay2if/https://www.wenjuan.com/s/Ffay2ifhttps://www.wenjuan.com/z/Ffay2if/https://www.wenjuan.com/z/Ffay2ifhttps://www.wenjuan.com/s/jURZnq/https://www.wenjuan.com/s/jURZnqhttps://www.wenjuan.com/z/jURZnq/https://www.wenjuan.com/z/jURZnqhttps://www.wenjuan.com/s/Njqaei8/https://www.wenjuan.com/s/Njqaei8https://www.wenjuan.com/z/Njqaei8/https://www.wenjuan.com/z/Njqaei8https://www.wenjuan.com/s/MFrMfuc/https://www.wenjuan.com/s/MFrMfuchttps://www.wenjuan.com/z/MFrMfuc/https://www.wenjuan.com/z/MFrMfuchttps://www.wenjuan.com/s/uuUjuqx/https://www.wenjuan.com/s/uuUjuqxhttps://www.wenjuan.com/z/uuUjuqx/https://www.wenjuan.com/z/uuUjuqxhttps://www.wenjuan.com/s/nEnI3yB/https://www.wenjuan.com/s/nEnI3yBhttps://www.wenjuan.com/z/nEnI3yB/https://www.wenjuan.com/z/nEnI3yBhttps://www.wenjuan.com/s/AveEv25/https://www.wenjuan.com/s/AveEv25https://www.wenjuan.com/z/AveEv25/https://www.wenjuan.com/z/AveEv25https://www.wenjuan.com/s/rq6FrqS/https://www.wenjuan.com/s/rq6FrqShttps://www.wenjuan.com/z/rq6FrqS/https://www.wenjuan.com/z/rq6FrqShttps://www.wenjuan.com/s/rimm2eD/https://www.wenjuan.com/s/rimm2eDhttps://www.wenjuan.com/z/rimm2eD/https://www.wenjuan.com/z/rimm2eDhttps://www.wenjuan.com/s/y2AJzez/https://www.wenjuan.com/s/y2AJzezhttps://www.wenjuan.com/z/y2AJzez/https://www.wenjuan.com/z/y2AJzezhttps://www.wenjuan.com/s/RJ7vYrz/https://www.wenjuan.com/s/RJ7vYrzhttps://www.wenjuan.com/z/RJ7vYrz/https://www.wenjuan.com/z/RJ7vYrzhttps://www.wenjuan.com/s/V7ZRnuf/https://www.wenjuan.com/s/V7ZRnufhttps://www.wenjuan.com/z/V7ZRnuf/https://www.wenjuan.com/z/V7ZRnufhttps://www.wenjuan.com/s/qQfaUv0/https://www.wenjuan.com/s/qQfaUv0https://www.wenjuan.com/z/qQfaUv0/https://www.wenjuan.com/z/qQfaUv0https://www.wenjuan.com/s/Qr6vma6/https://www.wenjuan.com/s/Qr6vma6https://www.wenjuan.com/z/Qr6vma6/https://www.wenjuan.com/z/Qr6vma6https://www.wenjuan.com/s/zEbAR3q/https://www.wenjuan.com/s/zEbAR3qhttps://www.wenjuan.com/z/zEbAR3q/https://www.wenjuan.com/z/zEbAR3qhttps://www.wenjuan.com/s/NJ3Yvif/https://www.wenjuan.com/s/NJ3Yvifhttps://www.wenjuan.com/z/NJ3Yvif/https://www.wenjuan.com/z/NJ3Yvifhttps://www.wenjuan.com/s/uUJnUzx/https://www.wenjuan.com/s/uUJnUzxhttps://www.wenjuan.com/z/uUJnUzx/https://www.wenjuan.com/z/uUJnUzxhttps://www.wenjuan.com/s/ARbqEbG/https://www.wenjuan.com/s/ARbqEbGhttps://www.wenjuan.com/z/ARbqEbG/https://www.wenjuan.com/z/ARbqEbGhttps://www.wenjuan.com/s/I3qqUjK/https://www.wenjuan.com/s/I3qqUjKhttps://www.wenjuan.com/z/I3qqUjK/https://www.wenjuan.com/z/I3qqUjKhttps://www.wenjuan.com/s/vQfM7r/https://www.wenjuan.com/s/vQfM7rhttps://www.wenjuan.com/z/vQfM7r/https://www.wenjuan.com/z/vQfM7rhttps://www.wenjuan.com/s/RRfAbiY/https://www.wenjuan.com/s/RRfAbiYhttps://www.wenjuan.com/z/RRfAbiY/https://www.wenjuan.com/z/RRfAbiYhttps://www.wenjuan.com/s/ry2I3aq/https://www.wenjuan.com/s/ry2I3aqhttps://www.wenjuan.com/z/ry2I3aq/https://www.wenjuan.com/z/ry2I3aqhttps://www.wenjuan.com/s/JbqqAfY/https://www.wenjuan.com/s/JbqqAfYhttps://www.wenjuan.com/z/JbqqAfY/https://www.wenjuan.com/z/JbqqAfYhttps://www.wenjuan.com/s/MF3y2y/https://www.wenjuan.com/s/MF3y2yhttps://www.wenjuan.com/z/MF3y2y/https://www.wenjuan.com/z/MF3y2yhttps://www.wenjuan.com/s/6z67ZfM/https://www.wenjuan.com/s/6z67ZfMhttps://www.wenjuan.com/z/6z67ZfM/https://www.wenjuan.com/z/6z67ZfMhttps://www.wenjuan.com/s/fyEVnyW/https://www.wenjuan.com/s/fyEVnyWhttps://www.wenjuan.com/z/fyEVnyW/https://www.wenjuan.com/z/fyEVnyWhttps://www.wenjuan.com/s/3eYRzqc/https://www.wenjuan.com/s/3eYRzqchttps://www.wenjuan.com/z/3eYRzqc/https://www.wenjuan.com/z/3eYRzqchttps://www.wenjuan.com/s/vUzqMf/https://www.wenjuan.com/s/vUzqMfhttps://www.wenjuan.com/z/vUzqMf/https://www.wenjuan.com/z/vUzqMfhttps://www.wenjuan.com/s/N3i2Ubj/https://www.wenjuan.com/s/N3i2Ubjhttps://www.wenjuan.com/z/N3i2Ubj/https://www.wenjuan.com/z/N3i2Ubjhttps://www.wenjuan.com/s/Nna2U3W/https://www.wenjuan.com/s/Nna2U3Whttps://www.wenjuan.com/z/Nna2U3W/https://www.wenjuan.com/z/Nna2U3Whttps://www.wenjuan.com/s/jquUra9/https://www.wenjuan.com/s/jquUra9https://www.wenjuan.com/z/jquUra9/https://www.wenjuan.com/z/jquUra9https://www.wenjuan.com/s/ym2uuq3/https://www.wenjuan.com/s/ym2uuq3https://www.wenjuan.com/z/ym2uuq3/https://www.wenjuan.com/z/ym2uuq3https://www.wenjuan.com/s/uIB7vir/https://www.wenjuan.com/s/uIB7virhttps://www.wenjuan.com/z/uIB7vir/https://www.wenjuan.com/z/uIB7virhttps://www.wenjuan.com/s/3IjqQvB/https://www.wenjuan.com/s/3IjqQvBhttps://www.wenjuan.com/z/3IjqQvB/https://www.wenjuan.com/z/3IjqQvBhttps://www.wenjuan.com/s/qUFfemm/https://www.wenjuan.com/s/qUFfemmhttps://www.wenjuan.com/z/qUFfemm/https://www.wenjuan.com/z/qUFfemmhttps://www.wenjuan.com/s/fyAjMzs/https://www.wenjuan.com/s/fyAjMzshttps://www.wenjuan.com/z/fyAjMzs/https://www.wenjuan.com/z/fyAjMzshttps://www.wenjuan.com/s/3eaUFb/https://www.wenjuan.com/s/3eaUFbhttps://www.wenjuan.com/z/3eaUFb/https://www.wenjuan.com/z/3eaUFbhttps://www.wenjuan.com/s/EjARfqF/https://www.wenjuan.com/s/EjARfqFhttps://www.wenjuan.com/z/EjARfqF/https://www.wenjuan.com/z/EjARfqFhttps://www.wenjuan.com/s/vuIbUnB/https://www.wenjuan.com/s/vuIbUnBhttps://www.wenjuan.com/z/vuIbUnB/https://www.wenjuan.com/z/vuIbUnBhttps://www.wenjuan.com/s/QFVr63y/https://www.wenjuan.com/s/QFVr63yhttps://www.wenjuan.com/z/QFVr63y/https://www.wenjuan.com/z/QFVr63yhttps://www.wenjuan.com/s/ZVjuaup/https://www.wenjuan.com/s/ZVjuauphttps://www.wenjuan.com/z/ZVjuaup/https://www.wenjuan.com/z/ZVjuauphttps://www.wenjuan.com/s/ZjmERf/https://www.wenjuan.com/s/ZjmERfhttps://www.wenjuan.com/z/ZjmERf/https://www.wenjuan.com/z/ZjmERfhttps://www.wenjuan.com/s/NJbENbA/https://www.wenjuan.com/s/NJbENbAhttps://www.wenjuan.com/z/NJbENbA/https://www.wenjuan.com/z/NJbENbAhttps://www.wenjuan.com/s/aIRBBnR/https://www.wenjuan.com/s/aIRBBnRhttps://www.wenjuan.com/z/aIRBBnR/https://www.wenjuan.com/z/aIRBBnRhttps://www.wenjuan.com/s/RrYnyem/https://www.wenjuan.com/s/RrYnyemhttps://www.wenjuan.com/z/RrYnyem/https://www.wenjuan.com/z/RrYnyemhttps://www.wenjuan.com/s/i6BV3i6S/https://www.wenjuan.com/s/i6BV3i6Shttps://www.wenjuan.com/z/i6BV3i6S/https://www.wenjuan.com/z/i6BV3i6Shttps://www.wenjuan.com/s/rUNJny5/https://www.wenjuan.com/s/rUNJny5https://www.wenjuan.com/z/rUNJny5/https://www.wenjuan.com/z/rUNJny5https://www.wenjuan.com/s/FB7Fjig/https://www.wenjuan.com/s/FB7Fjighttps://www.wenjuan.com/z/FB7Fjig/https://www.wenjuan.com/z/FB7Fjighttps://www.wenjuan.com/s/7fMBJvI/https://www.wenjuan.com/s/7fMBJvIhttps://www.wenjuan.com/z/7fMBJvI/https://www.wenjuan.com/z/7fMBJvIhttps://www.wenjuan.com/s/RniUVvn/https://www.wenjuan.com/s/RniUVvnhttps://www.wenjuan.com/z/RniUVvn/https://www.wenjuan.com/z/RniUVvnhttps://www.wenjuan.com/s/vmyQfyu/https://www.wenjuan.com/s/vmyQfyuhttps://www.wenjuan.com/z/vmyQfyu/https://www.wenjuan.com/z/vmyQfyuhttps://www.wenjuan.com/s/mqErUrz/https://www.wenjuan.com/s/mqErUrzhttps://www.wenjuan.com/z/mqErUrz/https://www.wenjuan.com/z/mqErUrzhttps://www.wenjuan.com/s/a2qiMjf/https://www.wenjuan.com/s/a2qiMjfhttps://www.wenjuan.com/z/a2qiMjf/https://www.wenjuan.com/z/a2qiMjfhttps://www.wenjuan.com/s/rMnuEnH/https://www.wenjuan.com/s/rMnuEnHhttps://www.wenjuan.com/z/rMnuEnH/https://www.wenjuan.com/z/rMnuEnHhttps://www.wenjuan.com/s/RZjUfaP/https://www.wenjuan.com/s/RZjUfaP

我的人工智能之旅——线性回归

本文将涉及以下知识点

（1）线性关系

（2）线性回归

（3）假设函数

（4）代价函数

（5）学习速率

（6）梯度下降

（7）特征向量

相关的线性代数或微积分知识，可参照另两篇博文

我的人工智能之旅----线性代数基础知识

我的人工智能之旅----微积分基础知识

以下是正文。

线性关系

解释线性回归之前，先来看一下线性关系。

什么是线性关系？如果自变量与因变量存在一次方函数关系，那么就成自变量与因变量存在线性关系。例如

y=2x+3//x为自变量，y为因变量y=2j+3k+i//j,k,i为自变量，y为因变量

但需要注意的是，类似

y=zx//z,x为自变量，y为因变量

就不是线性关系。

线性关系还必须满足以下条件

线性回归

所谓线性回归，就是利用数理统计中的回归分析，来确定两种或两种以上变量间，相互依赖的定量关系的一种统计分析方法。

即由样本（x,y），推断y=ax+b的过程。其中a,b为需要推断的常量。那么，问题来了。

（1）为什么是"y=ax+b"型的一元一次结构？而非其它一元N次结构？

（2）如何推算出a，b?

假设函数

先来回答上一小节的问题（1）。可以使用其它一元N次结构。选择一元一次结构只是为了方便。之后的学习，可以换为更复杂的拟合结构。由于我们假设x,y之间存在"y=ax+b"型的映射关系，所以函数f(x)=ax+b被称为假设函数，hypothesisfunction。

对于假设函数中的参数a,b，我们没有办法直接算出正确的值。也无法让所有样本，都映射到假设函数上。因此，只能推算出对于样本集合整体来说，最佳的a，b取值。

代价函数

如何评断参数a，b最佳？最佳a，b应使得假设函数求得的数据，与实际数据之间误差的平方和为最小。

注：关于为何使用1/2m，而非1/m，我们在下一小节说明。

由于样本集中的每个样本（x,y）已知，算式中a和b成为了变量，算式可以看作是a，b作为变量的函数。即

该函数，被称为代价函数，costfunction，或者平方误差代价函数，squarederrorcostfunction。

有了代价函数，推算a,b的问题就演化为，求代价函数何时取到最小值的问题。

当然，除了平方误差代价函数外，还存在其它代价函数。只是平方误差代价函数，是解决线性回归问题最常用的手段罢了。

但不管使用何种代价函数，我们的目的终归是要推算最佳的a,b。那么，如何推算呢？

梯度下降算法

梯度下降算法，gradientdescent，用于求函数的最小值。该算法运用了微积分（claculus）中的导数（derivatives）或偏导数（partialderivatives）知识。

简单的说，导数体现了自变量在变化时，对因变量所产生的影响。若存在多个自变量，那么对其中一个变量进行的求导，即为偏导数。换句话说，一个自变量在变化时，对因变量和其它自变量锁产生的影响。

若某一点的导数大于0，那么说明，因变量随自变量增大而增大，随自变量减小而减小。若小于0，则因变量随自变量的增大而减小，随自变量减小而增大。依据该特性，我们不断地同时更新a，b的取值，直至（a,b）所对应的点导数为0。那么，如何更新呢？

我们将J(a,b)带入，来看一下运算过程。

还记得上一节的“1/2m”or“1/m”的疑问吗？通过运算，“1/2”被约掉。因此，代价函数之所以取“1/2m”作为参数，是为来运算方便。

将导数结果带入，通过不断的迭代尝试获取和，直至两者的偏导数为0或接近0。此时，得到的a,b的值，即为最佳值（全局最佳，或局部最佳）。

需要注意的是，由于受限于样本集合的大小，该最佳值可能为局部最佳值。

此外，初始点的选取，也将影响最佳值的推算。

可见，梯度下降算法其实是一步一步的试出了对于样本集合最佳的a,b取值。有了a,b的估值，假设函数的真容也便浮出水面了。

梯度下降，并非唯一的推算最佳参数的方法。其它常用方法还包括，BFGS算法，L-BFGS算法，共轭梯度法（ConjugateGradient）等。这些方法远比梯度下降法复杂的多，但优点在于，它们不用人为的选择学习率，甚至可以每次迭代自动使用更优的学习率，因此收敛速度较梯度下降更快。由于篇幅及范围的原因，此处暂不过多涉及。

多元线性回归

至此，我们其实还是在讨论一元一次的简单假设，即一个自变量和一个因变量的情况。但实际遇到的问题并非如此简单。例如，房子的价值，不仅仅与面积有关，还要参考楼层，房龄，房间数量等多重因素，即多元线性回归的问题。

那么，我们的假设函数也相应发生了变化。

这里，我么把参数都变为了，自变量变为了（例如，分别代表楼层,房龄，房间数量，默认为1）。之所以这样表示，是为了方便矩阵的引入。根据矩阵内积（矩阵与向量的乘法），可以表述为

若假设向量，向量，那么，向量A的转置=

则假设函数转化为，其中称为特征(feature)，X称为特征向量(featurevector)。

解决多元线性回归的问题，我们同样使用梯度下降算法，即我们要推算出合适的A。而推算过程，我们已在上一小节进行了描述。那么，套用之前的公式，可得到代价函数，

(j=0,1,2,3)的迭代算法则为

其中

当j=0,1,2,3时，各偏导数为

由于，所以

最终，参数向量A中的元素的迭代算法为

小结

线性回归，可分为一元或多元线性回归。通过构建合理的假设函数和代价函数，利用梯度下降算法，迭代推算出对于样本集合来说，最佳的参数或参数向量。希望通过本文的叙述，使得大家对推算过程，线性回顾问题的解决思路，有一个大致的了解。

人工智能十大流行算法，通俗易懂讲明白

例如，简单线性回归，它有一个自变量（x轴）和一个因变量（y轴）

比如预测明年的房价涨幅、下一季度新产品的销量等等。听起来并不难，不过线性回归算法的难点并不在于得出预测值，而在于如何更精确。为了那个可能十分细微的数字，多少工程师为之耗尽了青春和头发。

2

逻辑回归

逻辑回归（Logisticregression）与线性回归类似，但逻辑回归的结果只能有两个的值。如果说线性回归是在预测一个开放的数值，那逻辑回归更像是做一道是或不是的判断题。

逻辑函数中Y值的范围从0到1，是一个概率值。逻辑函数通常呈S型，曲线把图表分成两块区域，因此适合用于分类任务。

比如上面的逻辑回归曲线图，显示了通过考试的概率与学习时间的关系，可以用来预测是否可以通过考试。

逻辑回归经常被电商或者外卖平台用来预测用户对品类的购买偏好。

3

决策树

如果说线性和逻辑回归都是把任务在一个回合内结束，那么决策树（DecisionTrees）就是一个多步走的动作，它同样用于回归和分类任务中，不过场景通常更复杂且具体。

举个简单例子，老师面对一个班级的学生，哪些是好学生？如果简单判断考试90分就算好学生好像太粗暴了，不能唯分数论。那面对成绩不到90分的学生，我们可以从作业、出勤、提问等几个方面分开讨论。

以上就是一个决策树的图例，其中每一个有分叉的圈称为节点。在每个节点上，我们根据可用的特征询问有关数据的问题。左右分支代表可能的答案。最终节点（即叶节点）对应于一个预测值。

每个特征的重要性是通过自顶向下方法确定的。节点越高，其属性就越重要。比如在上面例子中的老师就认为出勤率比做作业重要，所以出勤率的节点就更高，当然分数的节点更高。

4

朴素贝叶斯

朴素贝叶斯（NaiveBayes）是基于贝叶斯定理，即两个条件关系之间。它测量每个类的概率，每个类的条件概率给出x的值。这个算法用于分类问题，得到一个二进制“是/非”的结果。看看下面的方程式。

朴素贝叶斯分类器是一种流行的统计技术，经典应用是过滤垃圾邮件。

当然，学堂君赌一顿火锅，80%的人没看懂上面这段话。（80%这个数字是学堂君猜的，但经验直觉就是一种贝叶斯式的计算。）

用非术语解释贝叶斯定理，就是通过A条件下发生B的概率，去得出B条件下发生A的概率。比如说，小猫喜欢你，有a%可能性在你面前翻肚皮，请问小猫在你面前翻肚皮，有多少概率喜欢你？

当然，这样做题，等于抓瞎，所以我们还需要引入其他数据，比如小猫喜欢你，有b%可能和你贴贴，有c%概率发出呼噜声。所以我们如何知道小猫有多大概率喜欢自己呢，通过贝叶斯定理就可以从翻肚皮，贴贴和呼噜的概率中计算出来。

猫：别算了，我不喜欢你

5

支持向量机

支持向量机（SupportVectorMachine，SVM）是一种用于分类问题的监督算法。支持向量机试图在数据点之间绘制两条线，它们之间的边距最大。为此，我们将数据项绘制为n维空间中的点，其中，n是输入特征的数量。在此基础上，支持向量机找到一个最优边界，称为超平面（Hyperplane），它通过类标签将可能的输出进行最佳分离。

超平面与最近的类点之间的距离称为边距。最优超平面具有最大的边界，可以对点进行分类，从而使最近的数据点与这两个类之间的距离最大化。

所以支持向量机想要解决的问题也就是如何把一堆数据做出区隔，它的主要应用场景有字符识别、面部识别、文本分类等各种识别。

6

K-最近邻算法（KNN）

K-最近邻算法（K-NearestNeighbors，KNN）非常简单。KNN通过在整个训练集中搜索K个最相似的实例，即K个邻居，并为所有这些K个实例分配一个公共输出变量，来对对象进行分类。

K的选择很关键：较小的值可能会得到大量的噪声和不准确的结果，而较大的值是不可行的。它最常用于分类，但也适用于回归问题。

用于评估实例之间相似性的距离可以是欧几里得距离（Euclideandistance）、曼哈顿距离（Manhattandistance）或明氏距离（Minkowskidistance）。欧几里得距离是两点之间的普通直线距离。它实际上是点坐标之差平方和的平方根。

KNN分类示例

KNN理论简单，容易实现，可用于文本分类、模式识别、聚类分析等。

7

K-均值

K-均值（K-means）是通过对数据集进行分类来聚类的。例如，这个算法可用于根据购买历史将用户分组。它在数据集中找到K个聚类。K-均值用于无监督学习，因此，我们只需使用训练数据X，以及我们想要识别的聚类数量K。

该算法根据每个数据点的特征，将每个数据点迭代地分配给K个组中的一个组。它为每个K-聚类（称为质心）选择K个点。基于相似度，将新的数据点添加到具有最近质心的聚类中。这个过程一直持续到质心停止变化为止。

生活中，K-均值在欺诈检测中扮演了重要角色，在汽车、医疗保险和保险欺诈检测领域中广泛应用。

8

随机森林

随机森林（RandomForest）是一种非常流行的集成机器学习算法。这个算法的基本思想是，许多人的意见要比个人的意见更准确。在随机森林中，我们使用决策树集成（参见决策树）。

（a）在训练过程中，每个决策树都是基于训练集的引导样本来构建的。

（b）在分类过程中，输入实例的决定是根据多数投票做出的。

随机森林拥有广泛的应用前景，从市场营销到医疗保健保险，既可以用来做市场营销模拟的建模，统计客户来源、保留及流失，也可以用来预测疾病的风险和病患者的易感性。

9

降维

由于我们今天能够捕获的数据量之大，机器学习问题变得更加复杂。这就意味着训练极其缓慢，而且很难找到一个好的解决方案。这一问题，通常被称为“维数灾难”（Curseofdimensionality）。

降维（Dimensionalityreduction）试图在不丢失最重要信息的情况下，通过将特定的特征组合成更高层次的特征来解决这个问题。主成分分析（PrincipalComponentAnalysis，PCA）是最流行的降维技术。

主成分分析通过将数据集压缩到低维线或超平面/子空间来降低数据集的维数。这尽可能地保留了原始数据的显著特征。

可以通过将所有数据点近似到一条直线来实现降维的示例。

10

人工神经网络（ANN）

人工神经网络（ArtificialNeuralNetworks，ANN）可以处理大型复杂的机器学习任务。神经网络本质上是一组带有权值的边和节点组成的相互连接的层，称为神经元。在输入层和输出层之间，我们可以插入多个隐藏层。人工神经网络使用了两个隐藏层。除此之外，还需要处理深度学习。

人工神经网络的工作原理与大脑的结构类似。一组神经元被赋予一个随机权重，以确定神经元如何处理输入数据。通过对输入数据训练神经网络来学习输入和输出之间的关系。在训练阶段，系统可以访问正确的答案。

如果网络不能准确识别输入，系统就会调整权重。经过充分的训练后，它将始终如一地识别出正确的模式。

每个圆形节点表示一个人工神经元，箭头表示从一个人工神经元的输出到另一个人工神经元的输入的连接。

图像识别，就是神经网络中的一个著名应用。

现在，你已经了解了最流行的人工智能算法的基础介绍，并且，对它们的实际应用也有了一定认识。

强烈推荐阅读（99%的金融人士都会点开，看完都会收藏！）

中国现任31个省委书记身份背景最详细介绍（建议收藏！！！）

2800亿——中国最大庞氏骗局崩了！披着羊皮的普惠金融，正在血洗中产阶级

庞大的央企帝国：你所不知道的央企（最新名单！）

中国股权投资之财务尽调与业务尽调核心内容与方法史上最全总结！

中建、中交、中电建、中能建、中铁、中铁建、中冶是什么状况？一次性说明白！

宁德时代研究报告！（超详细！）

藏起来的腾讯金融帝国，可能比蚂蚁集团还要大

67%，51%，34%，30%，20%股权对控制权的区别（深度好文，建议收藏并反复阅读！）

桥水2万字报告：美国步入衰落，中国正迅速崛起（完整版）

可怕的华润帝国！

华为是怎么做年度述职的？（重磅好文！）

某平台要被断血了？！

东北衰落的原因究竟是什么？一文读懂！

最全阿里系版图（看完惊呆了）

2020中国城市新基建布局与发展白皮书！（附完整版PDF下载！！）

中国全套地产融资方式史上最全详解！

大公司病（太形象了）

赌场和金融圈最著名的一个数学公式（非常值得看）

雄安为啥没动静了？清华教授道出实情！

欢迎全国各地以及境外科技、消费、地产、医疗、农业、能源、环保、教育、文化、投行、基金、券商、信托、银行、保险、租赁、投资等产业及金融精英踊跃申请加入全球投行俱乐部VIP会员。

来源：凤凰博客、思HR实战智库、培训人社区，由全球投行俱乐部综合整理，转载请注明来源

免责声明：所载内容来源互联网，微信公众号等公开渠道，我们对文中观点保持中立，仅供参考，交流之目的。转载的稿件版权归原作者和机构所有，如有侵权，请联系我们删除。

全球数百万精英领袖都在关注！

全球投行俱乐部

我就知道你在看！返回搜狐，查看更多