人工智能之回归
一，回归的直观理解，如图所示，X1,X2就是我们的两个特征（年龄，工资）Y是银行最终会借给我们多少钱。找到最合适的一个平面（因为是X1，X2两个变量，所以是一个平面，如果只有一个变量就是一条线，如果是大于2的变量，就是一个超平面）来最好的拟合我们的数据点。拟合的平面的表达式：化简为：其中，θ是需要核定的系数对于每个样本y是目标值，ε表示误差，且服从高斯分布，那么只要通过优化使得所有的样本的预测误差总和最小，就达到了优化的目的。预测时，将x1，x2乘以相应的θ系数就可以得到预测值了。回归的目的是预测数值型的目标值，如预测商品价格、未来几天的PM2.5等。最直接的办法是依据输入写出一个目标值的计算公式，该公式就是所谓的回归方程（regressionequation）。求回归方程中的回归系数的过程就是回归。回归是对真实值的一种逼近预测。
二，回归分类：回归分析按照涉及的变量多少，分为一元回归和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。常见的回归种类有：线性回归、曲线回归、岭回归、套索回归、逻辑回归。线性回归：如果拟合函数为参数未知的线性函数，即因变量和自变量为线性关系时，则称为线性回归。简单的说，就是预测的表达式由参数θ和X的一次幂相乘的项组成，而非线性则是2次幂或大于2的次幂。以上的这个例子就是线性回归。如果因变量是1个，则是一条直线，如果是2个，则是一个平面，如果多于2个，则是超平面。因为样本的分布的多样性，有时一条线或平面并不能很好地拟合所有样本，这样就产生了非线性回归。非线性回归：即便线性方程对对观测数据拟合相当好，但有关误差项的独立性和方差假设有可能被破坏。原因是时间序列的数据误差项往往不独立，误差项大小有可能根据数据总体的大小而变化，意思就是，即便适合这个样本的观测量的方程，但是，不适合总体。根据经验，人口增长模型不能被转化为线性模型，所以，可以利用曲线回归或者非线性回归。在模型训练和预测中，如果预测的精度比训练的精度明显低，称之为过拟合，在回归分析中，解决过拟合的方法有岭回归（Ridge）和套索回归(Lasso)。岭回归：针对高方差，即过拟合的模型，解决办法之一就是对模型进行正则化：限制参数大小，当线性回归过拟合时，权重系数wj就会非常的大，岭回归就是要解决这样的问题。岭回归（RidgeRegression）可以理解为在线性回归的损失函数的基础上，加,入一个L2正则项，来限制W不要过大。其中λ>0，通过确定λ的值可以使得模型在偏差和方差之间达到平衡，随着λ的增大，模型的方差减小，偏差增大。套索回归（Lasso）:Lasso回归和岭回归类似，不同的是，Lasso可以理解为在线性回归基础上加入一个L1正则项，同样来限制W不要过大。其中λ>0，通过确定λ的值可以使得模型在偏差和方差之间达到平衡，随着λ的增大，模型的方差减小，偏差增大。逻辑回归:先说几个概念。Sigmoid函数：Sigmoid函数的图形：逻辑回归实际上是做分类而不是回归，可以说是广义的回归。前面讲的线性回归的预测输出θTx，将该值代入到上式的变量z，就是逻辑回归的输出了。即：之前的输出可以说没有受到任何约束，等于多少就是多少，但现在将输出值限制到了区间[0,1]。θTx越大，则预测的值越接近1，θTx越小，则预测的值越接近0。这样就实现了2分类。在优化时，从直观的角度思考，如果某样本的实际分类是1那么，hθ(x)越接近1则预测成功率越高。如果某样本的实际分类是0那么，hθ(x)越接近0则预测成功率越高。通过最大化似然函数则可以得到最优解。单个样本的预测成功率：所有样本预测成功率相乘能达到最大值则说明总体的成功率越高。总体的预测成功率，则是最大似然率。为了方便计算，将上式取对数然后通过梯度下降计算其最大值，则可以获得相关的优化参数了。三，深度学习中的回归在深度学习中，CV领域的回归广泛使用，现举例如下：1目标检测中的框的位置和尺寸。在确认了某个区域是一个目标之后，模型还要获得更加精细的位置和尺寸信息。以目标检测模型fasterrcnn为例，对于每一个框，模型会输出4个值进行回归，dx,dy,dw,dh。他不是直接给出框的绝对位置和宽度，而是给出一个相对量，相对于预选框的量。换算关系如下：a、预测的中心点坐标x=预选框中心点坐标x值+dx*预选框宽度b、预测的中心点坐标y=预选框中心点坐标y值+dy*预选框高度c、预测的宽度=e**dw*预选框宽度。e是自然对数，表示幂d、预测的高度=edh*预选框高度。e是自然对数，**表示幂而进行训练时，则反根据目标框的实际坐标和预选框的坐标来反算dx,dy,dw,dh。而损失则是要让模型的输出和这四个值无限接近。2图像超分辨率重构中的回归。就是从低分辨率的图像生成高分辨率的图像。训练时，模型的输出是和高分辨率图像尺寸一样的图像A，而目标值则是原有的高分辨率图像B。目标是要让A和B的平均误差最小。这个和线性回归很相似，线性回归是预测一个值，而这个只是预测更多的值(图像分辨率)。
什么是线性回归
在机器学习中，计算机程序（称为算法）会分析大型数据集，然后根据这些数据逆向工作计算线性回归方程。数据科学家首先在已知或标记的数据集上训练算法，然后使用该算法预测未知值。现实生活中的数据比上述示例更为复杂。因此，线性回归分析必须以数学方式修改或转换数据值以满足以下四个假设。
线性关系自变量和因变量之间必须存在线性关系。为了确定线性关系，数据科学家会创建散点图（x和y值的随机集合），以查看这些值是否落于直线上。如果没有，则可以应用非线性函数（例如平方根或对数）以数学方式创建两个变量之间的线性关系。
残差独立性数据科学家使用残差来衡量预测准确性。残差是观测数据与预测值之间的差值。残差之间不得存在可识别的模式。例如，您不希望残差随时间逐渐增加。您可以使用不同的数学检验（例如Durbin-Watson检验）来确定残差独立性。您可以使用虚拟数据来替换任何数据变体，例如季节性数据。
正态性绘图技术（如Q-Q图）可确定残差是否为正态分布。残差应落于图形中心的对角线上。如果残差不呈正态分布，则可以检验数据是否存在随机异常值或非典型值。删除异常值或执行非线性转换可以解决此问题。
同方差性同方差性假设残差具有每个x值的平均值的恒定方差或标准偏差。否则，分析结果可能不准确。如果不满足此假设，则可能必须更改因变量。由于大型数据集中本身存在方差，因此更改因变量的比例是有意义的。例如，使用人口规模来预测每个人的平均消防站数量，而非使用人口规模来预测城市中消防站的数量。