[人工智能
目录
第1章什么损失函数
1.1什么是机器学习
1.2什么是监督式机器学习
1.3OneHot编码
1.4 什么是损失函数
1.5 本文重点阐述：
第2章二/多元分类损失函数
2.1 二/多元分类损失函数模型
2.2 绝对值误差法（原始误差）
2.3均方差法（平方误差）
2.4log误差
第3章0-1损失函数:0-1
3.1数学表达式
3.2几何图形
第4章交叉熵函数：二分类
4.1交叉熵与二分类
4.2交叉熵概述
4.4 交叉熵损失函数形式（根据标签不同而不同）
4.5交叉上损失函数的几何图形
第5章交叉熵函数：多分类
5.1函数形式
第6章-log对数损失函数NLL：多分类
6.1负对数损失函数的数学表达式
6.2负对数损失函数的几何图形
第1章什么损失函数1.1什么是机器学习[人工智能-深度学习-8]：神经网络基础-机器学习、深度学习模型、模型训练_文火冰糖（王文兵）的博客-CSDN博客
1.2什么是监督式机器学习百度百科：监督式学习（英语：Supervisedlearning），是一个机器学习中的方法，可以由训练资料中学到或建立一个模式（函数 /learningmodel），并依此模式推测新的实例。
训练资料是由输入物件（通常是向量）和预期输出所组成。
函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。
白话：所谓监督室式学习，给定的数据集和对应的标准答案，即标签。让机器以后的数据集合标准答案进行学习。
其中，数据集用{Xi}表示，对应的标签值，又称为样本值，期望值，用{Yi}表示。
神经网络模型，利用当前的参数，对对数据集{Xi}进行运算和预测，获得的输出值为{Yi_pred}.
也就是说，监督室学习，是指有标准答案的学习。
标准答案的形式：
标签值样本值备注：标签值、样本值、期望值，并不是没有任何错误的值期望值，而是人为的采样值，是表面现象下参考值，并不一定是内涵的规律值。
1.3OneHot编码1.4 什么是损失函数监督学习本质上是给定一系列训练样本 {Xi}，尝试学习样本的映射关系 {Xi->Yi}，使得给定一个x_real，即便这个x_real不在训练样本{Xi->Yi}中，也能够得到其输出值{Y_pred}尽量接近真实{Y_real}的输出。
损失函数（LossFunction）则是这个过程中关键的一个组成部分，用来衡量模型的预测输出{Y_pred}与样本真实值{Yi}的之间的差距，并给模型的优化指明方向：针对给定的样本{Xi}，其误差最小，即预测输出{Y_pred}与样本真实值{Yi}尽可能的接近，尽可能的相似。loss值越小，相似度越高，误差越小。
在实际工程中，由于{Y_real}是未知的，因此，在监督式学习中，使用样本标签{Yi}作为样本数据集{Xi}的真实值！！！！
由于实际样本数据集不是单个数据，因此，loss函数实际是所有样本误差的平均，反映的是模型对样本数据集中所有样本的预测映射关系 {Xi->Yi_pred}，与已知的样本标签的映射关系{Xi->Yi_pred}整体的相似程度，而不是单个样本的相似程度！！！！
在相同的应用场合，描述相似程度的loss数学函数不尽同。
在不同的应用场合，描述相似程度的loss数学函数不尽同。
因此就有各种不同的loss函数，如均方差损失MeanSquaredLoss、平均绝对误差损失MeanAbsoluteErrorLoss、HuberLoss、分位数损失QuantileLoss、交叉熵损失函数CrossEntropyLoss、Hinge损失HingeLoss。
不同的损失函数的基本的函数表达式、原理、特点并不相同方面。
因此，损失函数研究的是：如何表达两个函数（X-Y的映射关系称为函数）之间的相似程度的数学表达式。
因此，损失函数研究的是：如何表达两个函数（X-Y的映射关系称为函数）之间的距离远近的数学表达式。
损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项.
损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。
1.5 本文重点阐述：用于逻辑分类相关的损失函数：0-1损失函数，log损失函数，交叉熵损失函数等。
备注：在本文中Yi_pred也表示为
第2章二/多元分类损失函数2.1 二/多元分类损失函数模型2.2 绝对值误差法（原始误差）预测值与输出值之间的距离最直接的方法就是：用标签值与预测值相减。
当Yi标签为1时：loss=（1-Yi_pred）= 1-Yi_pred=1-x ；x在[0,1]当Yi标签为0时：loss=（Yi_pred-0） = Yi_pred=x ；x在[0,1]
这种方法并没有对（Yi-Yi_pred）进行放大，只是线性运算
这种方法的loss函数有最小值
这种方法的loss函数的导数恒定为1
2.3均方差法（平方误差）当Yi标签为1时：loss=(1-Yi_pred)^2 =(1-x)^2 ；x在[0,1]当Yi标签为0时：loss= (Yi_pred-0)^2 =(x^2 ；x在[0,1]这种方法对（Yi-Yi_pred）进平方放大。是一个凸函数
这种方法的loss函数有最小值
这种方法的loss函数的导数不恒定。
但该函数，应有于逻辑分类时，最大的问题是：loss函数有大量的局部最小值。
2.4log误差（1）log函数的几何图形
有图像可以看出：当大于1时：
在【-无穷,0】区间： 无映射在【0,1】映射区间：映射具有放大作用，即【0,1】映射到【-无穷，0】在【1,+无穷】区间：映射具有缩小作用，即【1,+无穷】映射到【0,+无穷】log损失函数，主要利用的是log函数在【0,1】区间的放大作用。
（2）不能直接利用log
当Yi标签为1时：loss=log(1-Yi_pred)=log(1-x)当Yi_pred接近标签1时，loss接近于log(1-1)=log0=负无穷,而不是接近于0，很显然，这与loss的定义正好相反。
当Yi_pred接近于离标签1最远的0时，loss接近于log(1-)=log1=0，而不是接近于无穷大，很显然，这与loss的定义正好相反。
当Yi标签为0时：loss=log(Yi_pred-0)=log(x)当Yi_pred接近标签0时，loss接近于log(0)=log0=负无穷,而不是接近于0，很显然，这与loss的定义正好相反。
当Yi_pred接近于离标签0最远的1时，loss接近于log(1)=0，而不是接近于无穷大，很显然，这与loss的定义正好相反。
（2）第一次改造后的log损失函数
当Yi标签为1时：loss=log(Yi_pred)=log(x)当Yi_pred接近于离标签1最近的1时，loss接近于log(1)=0, 很显然，与损失函数的定义是一致的。
当Yi_pred接近于离标签1最远的0时，loss接近于log(0)= 负无穷，很显然，与损失函数相一致，但此时，如果loss接近于“正”无穷就更好了。
当Yi标签为0时：loss=log（1-Yi_pred)=log(1-x)当Yi_pred接近于离标签0最近的0时，loss接近于log(1-0)=0, 很显然，与损失函数的定义是一致的。
当Yi_pred接近于离标签1最远的1时，loss接近于log(1-1)=负无穷，很显然，与损失函数相一致，但此时，如果loss接近于“正”无穷就更好了。
（3）第二次改造后的log损失函数
当Yi标签为1时：loss=-log(Yi_pred)=-log(x)当Yi_pred接近于离标签1最近的1时，loss接近于log(1)=0, 很显然，与损失函数的定义完全一致。
当Yi_pred接近于离标签1最远的0时，loss接近于log(0)=正无穷，很显然，与损失函数的定义完全一致
当Yi标签为0时：loss=-log（1-Yi_pred)=-log(1-x)当Yi_pred接近于离标签0最近的0时，loss接近于log(1-0)=0, 很显然，与损失函数的定义完全一致。
当Yi_pred接近于离标签1最远的1时，loss接近于log(1-1)=正无穷，很显然，与损失函数的定义完全一致。
第3章0-1损失函数:0-13.1数学表达式在上图中：|Y-F(x)|=|Yi-Yi_pred|,表示样本标签值与预测值的实际距离。
3.2几何图形
在上图中，T为门限超参数，所有落在区间T内的样本点，都认为与标签Yi是一致的，因此loss都归为0，所有区间外的样本点，都认为与标签Yi是不一致的，因此loss都归为1。
Yi_pred的输出值在[0,1]之间，这种loss函数对所有样本点loss值的累计和，不是连续的，而是阶梯式的，离散的，粒度为1.
第4章交叉熵函数：二分类4.1交叉熵与二分类交叉熵主要用于sigmoid实现二分类预测的损失函数。
二分类预测的特点是：
预测输出值在【0,1】区间。样本的标签只有两种：0或1 4.2交叉熵概述交叉熵（CrossEntropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。
在信息论中，交叉熵是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，其中，用非真实分布q来表示某个事件发生所需要的平均比特数。从这个定义中，我们很难理解交叉熵的定义。下面举个例子来描述一下：
假设现在有一个样本集中两个概率分布p,q，其中p为真实分布，q为非真实分布。
假如，按照真实分布p来衡量识别一个样本所需要的编码长度的期望为：
4.3交叉熵损失函数概述
交叉熵损失函数只是利用了交叉熵函数的数学形式，但含义却完全不同。
因此，我们并不打算从概率论和信息论的角度来解读交叉上损失函数的意义，而是从损失函数自身的定义来解读该损失函数。
损失函数的本质是描述预测值与标签值之间的距离或差异性大小的函数，因此我们从这个角度来参数。
交叉熵损失函数本质上是log损失函数！！！
4.4 交叉熵损失函数形式（根据标签不同而不同）交叉熵损失函数针对二分类而引入的损失函数，二分类有两个标签：1或0，因此，其函数形式也有两个。
与信息论交叉熵函数的关系：
（1）当Yi标签为1时：loss=-log(Yi_pred)=-log(x)
损失函数的意义：
当Yi_pred接近于离标签1最近的1时，loss接近于log(1)=0,当Yi_pred接近于离标签1最远的0时，loss接近于log(0)=正无穷。信息量交叉熵的含义：
令样本标签1代表p(x)概率；输出Yi_pred代表概率q（x)（2）当Yi标签为0时：loss=-log（1-Yi_pred)=-log(1-x)
损失函数的意义：
当Yi_pred接近于离标签0最近的0时，loss接近于log(1-0)=0, 很显然，与损失函数的定义完全一致。当Yi_pred接近于离标签1最远的1时，loss接近于log(1-1)=正无穷，很显然，与损失函数的定义完全一致。信息量交叉熵的含义：
令样本标签0代表p(x)概率=1-p(x)；输出Yi_pred代表概率1-q（x)（3）汇总后统一的函数的形式
这里N是指样本的数量。
4.5交叉上损失函数的几何图形（1）实线是OneHot编码中，标签值“1”出的损失函数。
当x趋近与1时，y趋近于0当x趋近与0时，y趋近于+无穷（2）实线是OneHot编码中，标签值“0”处的损失函数。
当x趋近与1时，y趋近于+无穷当x趋近与0时，y趋近于0第5章交叉熵函数：多分类5.1函数形式
其中：
N是样本数，i是样本索引。
M是分类数，j是分类索引。
Pij是第i个样本的第j路输出。
第6章-log对数损失函数NLL：多分类当（1）样本的标签Yi是0或1时，（2）且预测输出Yi_pred在0和1之间时，则，在多分类时，Yi_pred与标签的距离，可以直接用负对数来表示。
多分类是对二分类的拓展，
6.1负对数损失函数的数学表达式M是分类数，j是分类下标。
6.2负对数损失函数的几何图形蓝色的图形是负对数函数，
x轴是sigmoid函数或softmax函数的输出，数值在[0,1]之间。
y轴是loss函数的输出值，区间为【0，+无穷】
如何认识人工智能对未来经济社会的影响
原标题：如何认识人工智能对未来经济社会的影响人工智能作为一种新兴颠覆性技术，正在释放科技革命和产业变革积蓄的巨大能量，深刻改变着人类生产生活方式和思维方式，对经济发展、社会进步等方面产生重大而深远的影响。世界主要国家都高度重视人工智能发展，我国亦把新一代人工智能作为推动科技跨越发展、产业优化升级、生产力整体跃升的驱动力量。在此背景下，我们有必要更好认识和把握人工智能的发展进程，研究其未来趋势和走向。
人工智能不同于常规计算机技术依据既定程序执行计算或控制等任务，而是具有生物智能的自学习、自组织、自适应、自行动等特征。可以说，人工智能的实质是“赋予机器人类智能”。首先，人工智能是目标导向，而非指代特定技术。人工智能的目标是在某方面使机器具备相当于人类的智能，达到此目标即可称之为人工智能，具体技术路线则可能多种多样，多种技术类型和路线均被纳入人工智能范畴。例如，根据图灵测试方法，人类通过文字交流无法分辨智能机器与人类的区别，那么该机器就可以被认为拥有人类智能。其次，人工智能是对人类智能及生理构造的模拟。再次，人工智能发展涉及数学与统计学、软件、数据、硬件乃至外部环境等诸多因素。一方面，人工智能本身的发展，需要算法研究、训练数据集、人工智能芯片等横跨整个创新链的多个学科领域同步推进。另一方面，人工智能与经济的融合要求外部环境进行适应性变化，所涉的外部环境十分广泛，例如法律法规、伦理规范、基础设施、社会舆论等。随着人工智能进一步发展并与经济深度融合，其所涉外部环境范围还将进一步扩大，彼此互动和影响亦将日趋复杂。
总的来看，人工智能将波浪式发展。当前，人工智能正处于本轮发展浪潮的高峰。本轮人工智能浪潮的兴起，主要归功于数据、算力和算法的飞跃。一是移动互联网普及带来的大数据爆发，二是云计算技术应用带来的计算能力飞跃和计算成本持续下降，三是机器学习在互联网领域的应用推广。但人工智能技术成熟和大规模商业化应用可能仍将经历波折。人工智能的发展史表明，每一轮人工智能发展浪潮都遭遇了技术瓶颈制约，导致商业化应用难以落地，最终重新陷入低潮。本轮人工智能浪潮的技术上限和商业化潜力都大大高于以往，部分专用人工智能可能获得长足进步，但许多业内专家认为目前的人工智能从机理上还不存在向通用人工智能转化的可能性，人工智能大规模商业化应用仍将是一个长期而曲折的过程。人工智能的发展尚处于早期阶段，在可预见的未来仍将主要起到辅助人类工作而非替代人类的作用，同时，严重依赖数据输入和计算能力的人工智能距离真正的人类智能还有很大的差距。
作为继互联网后新一代“通用目的技术”，人工智能的影响可能遍及整个经济社会，创造出众多新兴业态。国内外普遍认为，人工智能将对未来经济发展产生重要影响。
一方面，人工智能将是未来经济增长的关键推动力。人工智能技术的应用将提升生产率，进而促进经济增长。许多商业研究机构对人工智能对经济的影响进行了预测，主要预测指标包括GDP增长率、市场规模、劳动生产率、行业增长率等。多数主要商业研究机构认为，总体上看，世界各国都将受益于人工智能，实现经济大幅增长。未来十年（至2030年），人工智能将助推全球生产总值增长12%左右。同时，人工智能将催生数个千亿美元甚至万亿美元规模的产业。人工智能对全球经济的推动和牵引，可能呈现出三种形态和方式。其一，它创造了一种新的虚拟劳动力，能够解决需要适应性和敏捷性的复杂任务，即“智能自动化”；其二，人工智能可以对现有劳动力和实物资产进行有力的补充和提升，提升员工能力，提高资本效率；其三，人工智能的普及将推动多行业的相关创新，提高全要素生产率，开辟崭新的经济增长空间。
另一方面，人工智能替代劳动的速度、广度和深度将前所未有。许多经济学家认为，人工智能使机器开始具备人类大脑的功能，将以全新的方式替代人类劳动，冲击许多从前受技术进步影响较小的职业，其替代劳动的速度、广度和深度将大大超越从前的技术进步。但他们同时指出，技术应用存在社会、法律、经济等多方面障碍，进展较为缓慢，技术对劳动的替代难以很快实现；劳动者可以转换技术禀赋；新技术的需求还将创造新的工作岗位。
当前，在人工智能对经济的影响这个领域，相关研究已经取得了一些成果，然而目前仍处于研究的早期探索阶段，还未形成成熟的理论和实证分析框架。不过，学界的一些基本共识已经达成：短期来看，人工智能发展将对我国经济产生显著促进作用；长期来看，人工智能的发展路径和速度难以预测。因此，我们需对人工智能加速发展可能导致的世界经济发展模式变化保持关注。
（作者单位：国务院发展研究中心创新发展研究部）
(责编：赵超、吕骞)分享让更多人看到
新一代人工智能的发展与展望
随着大数据、云计算等技术的飞速发展，人们生产生活的数据基础和信息环境得到了大幅提升，人工智能（AI）正在从专用智能迈向通用智能，进入了全新的发展阶段。国务院印发的《新一代人工智能发展规划》指出新一代人工智能相关学科发展、理论建模、技术创新、软硬件升级等整体推进，正在引发链式突破，推动经济社会各领域从数字化、网络化向智能化加速跃升。在4月10日“吴文俊人工智能科学技术奖”十周年颁奖盛典中，作为我国不确定性人工智能领域的主要开拓者、中国人工智能学会名誉理事长李德毅院士荣获“吴文俊人工智能最高成就奖”，并在大会上作题为《探索什么叫新一代人工智能》的报告，探讨了新一代人工智能的内涵和路径，引领着新一代人工智能的发展与展望。
人工智能这一概念诞生于1956年在美国达特茅斯学院举行的“人工智能夏季研讨会”，随后在20世纪50年代末和80年代初先后两次步入发展高峰，但因为技术瓶颈、应用成本等局限性而均掉入低谷。在信息技术的引领下，数据信息快速积累，运算能力大幅提升，人工智能发展环境发生了巨大变化，跨媒体智能、群体智能成为新的发展方向，以2006年深度学习模型的提出为标志，人工智能第三次站在了科技发展的浪潮之巅。
当前，随着移动互联网、物联网、大数据、云计算和人工智能等新一代信息技术的加速迭代演进，人类社会与物理世界的二元结构正在进阶到人类社会、信息空间和物理世界的三元结构，人与人、机器与机器、人与机器的交流互动愈加频繁。在多源数据、多元应用和超算能力、算法模型的共同驱动下，传统以计算机智能为基础的、依赖于算力算法和数据的人工智能，强调通用学习和大规模训练集的机器学习，正逐渐朝着以开放性智能为基础、依赖于交互学习和记忆、基于推理和知识驱动的以混合认知模型为中心的新一代人工智能方向迈进。应该说，新一代人工智能的内核是“会学习”，相较于当下只是代码的重复简单执行，新一代人工智能则需要能够在学习过程中解决新的问题。其中，学习的条件是认知，学习的客体是知识，学习的形态是交互，学习的核心是理解，学习的结果是记忆……因此，学习是新一代人工智能解释解决现实问题的基础，记忆智能是新一代人工智能中多领域、多情景可计算智能的边界和约束。进而当人类进入和智能机器互动的时代，新一代人工智能需要与时俱进地持续学习，不断检视解决新的问题，帮助人机加深、加快从对态势的全息感知递进到对世界的多维认知。
事实上，基于数据驱动型的传统人工智能，大多建立在“数据中立、算法公正和程序正义”三要素基础之上，而新一代人工智能更关注于交互能力，旨在通过设计“记忆”模块来模仿人脑，解决更灵活多变的实际问题，真正成为“不断学习、与时俱进”的人工智能。特别是人机交互支撑实现人机交叉融合与协同互动，目前已在多个领域取得了卓越成果，形成了多方面、多种类、多层次的应用。例如，在线客服可以实现全天候不间断服务，轻松解决用户咨询等问题，也可将棘手问题转交人工客服处理，降低了企业的管理成本；在智慧医疗领域，人工智能可以通过神经影像实现辅助智能诊断，帮助医生阅片，目前准确率已达95%以上，节省了大量的人力；2020年，在抗击疫情的过程中，新一代人工智能技术加速与交通、医疗、教育、应急等事务协作联动，在科技战“疫”中大显身手，助力疫情防控取得显著成效。
未来已来，随着人工智能逐渐融入居民生活的方方面面，将继续在智慧医疗、自动驾驶、工业制造智能化等领域崭露头角。一是基于新一代人工智能的智慧医疗，将助力医院更好记录、存储和分析患者的健康信息，提供更加精准化和个性化的健康服务，显著提升医院的临床诊断精确度。二是通过将新一代人工智能运用于自动驾驶系统的感知、预测和决策等方面，重点解决车道协同、多车调度、传感器定位等问题，重新定义城市生活中人们的出行方式。三是由于我国工业向大型化、高速化、精细化、自主化发展，对高端大规模可编程自动化系统提出迫切需求，新一代人工智能将推动基于工业4.0发展纲领，以高度自动化的智能感知为核心，主动排除生产障碍，发展具备有适应性、资源效率、人机协同工程的智能工厂应运而生。总之，如何展望人工智能通过交互学习和记忆理解实现自编程和自成长，提升自主学习和人机交互的效率，将是未来研究着力发展的硬核领域，并加速新一代信息技术与智能制造深度融合，推动数字化转型走深走实，有信心、有能力去迎接下一场深刻产业变革的到来。