人工智能的安全问题不容忽视
现在有很多技术可以欺骗人工智能，也有很多人工智能技术被用来欺骗人。在人工智能（AI）时代，安全问题不容忽视。
近几年，人工智能技术在很多领域都取得了初步的成功，无论是图像分类、视频监控领域的目标跟踪，还是自动驾驶、人脸识别、围棋等方面，都取得了非常好的进展。那么，人工智能技术到底安全不安全?事实上，目前的人工智能技术还存在很多问题。
人工智能并不安全
现在有很多技术可以欺骗人工智能，如在图片上加入一些对抗干扰。所谓对抗干扰，就是针对智能判别式模型的缺陷，设计算法精心构造与正常样本差异极小、能使模型错误识别的样本。如图1所示，本来是一幅手枪的图片，如果加入一些对抗干扰，识别结果就会产生错误，模型会识别为不是枪。在人的前面挂一块具有特定图案的牌子，就能使人在视频监控系统中“隐身”(见图2)。在自动驾驶场景下，如果对限速标识牌加一些扰动，就可以误导自动驾驶系统识别成“Stop”(见图3)，显然这在交通上会引起很大的安全隐患。另一方面，人工智能的一些技术现在正在被滥用来欺骗人。例如，利用人工智能生成虚假内容，包括换脸视频、虚假新闻、虚假人脸、虚拟社交账户等。
图1被暴恐检测系统识别成正常图片
图2在智能监控下隐身
图3误导自动驾驶系统
不只在图片和视频领域，在语音识别领域也存在这样的安全隐患。例如，在语音中任意加入非常微小的干扰，语音识别系统也可能会把这段语音识别错。同样，在文本识别领域，只需要改变一个字母就可以使文本内容被错误分类。
除了对抗攻击这种攻击类型外，还有一种叫后门攻击的攻击类型。后门攻击是指向智能识别系统的训练数据安插后门，使其对特定信号敏感，并诱导其产生攻击者指定的错误行为。例如，我们在对机器进行训练时，在某一类的某些样本中插入一个后门模式，如给人的图像加上特定的眼镜作为后门，用一些训练上的技巧让机器人学习到眼镜与某个判断结果(如特定的一个名人)的关联。训练结束后，这个模型针对这样一个人还是能够做出正确的识别，但如果输入另一个人的图片，让他戴上特定的眼镜，他就会被识别成前面那个人。训练的时候，模型里留了一个后门，这同样也是安全隐患。
除了对抗样本、后门外，如果AI技术被滥用，还可能会形成一些新的安全隐患。例如，生成假的内容，但这不全都是人工智能生成的，也有人为生成的。此前，《深圳特区报》报道了深圳最美女孩给残疾乞丐喂饭，感动路人，人民网、新华社各大媒体都有报道。后来，人们深入挖掘，发现这个新闻是人为制造的。现在社交网络上有很多这样的例子，很多所谓的新闻其实是不真实的。一方面，人工智能可以发挥重要作用，可以检测新闻的真假;另一方面，人工智能也可以用来生成虚假内容，用智能算法生成一个根本不存在的人脸。
用人工智能技术生成虚假视频，尤其是使用视频换脸生成某个特定人的视频，有可能对社会稳定甚至国家安全造成威胁。例如，模仿领导人讲话可能就会欺骗社会大众。因此，生成技术是否需要一些鉴别手段或者相应的管理规范，这也是亟须探讨的。例如，生成虚假人脸，建立虚假的社交账户，让它与很多真实的人建立关联关系，甚至形成一些自动对话，看起来好像是一个真实人的账号，实际上完全是虚拟生成的。这样的情况该如何管理还需要我们进一步探索和研究。
人工智能安全隐患的技术剖析
针对AI的安全隐患，要找到防御的方法，首先要了解产生安全隐患的技术。以对抗样本生成为例，其主要分为2类：一类是白盒场景下对抗样本生成;另一类为黑盒场景下对抗样本生成。白盒场景的模型参数完全已知，可以访问模型中所有的参数，这个情况下攻击就会变得相对容易一些，只需要评估信息变化的方向对模型输出的影响，找到灵敏度最高的方向，相应地做出一些扰动干扰，就可以完成对模型的攻击。黑盒场景下攻击则相对较难，大部分实际情况下都是黑盒场景，我们依然可以对模型远程访问，输入样本，拿到检测结果，但无法获得模型里的参数。
现阶段的黑盒攻击可大致分为3类。第一类是基于迁移性的攻击方法，攻击者可以利用目标模型的输入信息和输出信息，训练出一个替换模型模拟目标模型的决策边界，并在替换模型中利用白盒攻击方法生成对抗样本，最后利用对抗样本的迁移性完成对目标模型的攻击。第二类是基于梯度估计的攻击方法，攻击者可以利用有限差分以及自然进化策略等方式来估计梯度信息，同时结合白盒攻击方法生成对抗样本。在自然进化策略中，攻击者可以以多个随机分布的单位向量作为搜索方向，并在这些搜索方向下最大化对抗目标的期望值。第三类是基于决策边界的攻击方法，通过启发式搜索策略搜索决策边界，再沿决策边界不断搜索距离原样本更近的对抗样本。
有攻击就有防御，针对对抗样本的检测，目前主要有3种手段。第一种，通过训练二分类器去分类样本是否受到干扰，但通用性会比较差。通常而言，训练一个分类器只能针对某一种特定的攻击算法，但在通常情况下并不知道别人使用哪一种攻击算法。第二种，训练去噪器。所谓的对抗干扰基本上都是样本中加入噪声，通过去噪对样本进行还原，从而实现防御。第三种，用对抗的手段提升模型的鲁棒性，在模型训练中加入对抗样本，模型面对对抗样本时会具有更强的鲁棒性，提高识别的成功率，但训练的复杂度较高。整体而言，这些方法都不很理想，我们亟须研究通用性强、效率高的对抗样本的防御方法。
针对换脸视频的生成，目前主流技术是基于自动编码器进行人脸图像重建。在模型训练阶段，所有的人脸图像使用同一个编码器，这个编码器的目标是学习捕捉人脸的关键特征。对于人脸重构，每个人的脸都有一个单独的解码器，这个解码器用于学习不同人的脸所具有的独特特征。利用训练后的编码器与解码器即可进行虚假人脸生成。
针对换脸视频的鉴别，目前主流技术是基于视觉瑕疵进行鉴别，这个假设是换脸视频具有不真实的情况。因此，可以对眨眼频率、头部姿态估计、光照估计、几何估计等提取特征，利用这些特征去判断人脸的图片或者视频的真假。
对抗攻防已取得一定研究成果
目前，我们在人工智能安全技术上加大了投入，围绕人工智能安全领域的问题开展了一些研究。
第一个工作是针对视频识别模型上的黑盒对抗攻击。在该工作中，我们利用对抗扰动的迁移性，将图像预训练模型中得到的扰动作为视频帧的初始扰动，并在此基础上利用自然进化策略对这些初始扰动噪声进行纠正。当我们得到针对视频域特殊纠正后的梯度信息后，采用投影梯度下降来对输入视频进行更新。该方法可以在黑盒场景下，对主流视频识别模型进行攻击，这也是全球在视频模型黑盒攻击上的第一个工作。我们实现的结果是在目标攻击情况下，需要3万至8万次查询就可以达到93%的攻击成功率，非目标攻击只需要数百个查询就可以完成对主流模型的攻击。目标攻击是指不仅让这个模型识别错，还要指定它把这个东西识别成什么，如把A的照片识别成B。非目标攻击是指只要识别错就可以了，识别成谁则不重要，如A的照片只要不识别成A就可以。
第二个工作是基于时空稀疏的视频对抗攻击。由于视频数据的维度很高，导致攻击算法的复杂度往往较高。对此，我们提出了基于时空稀疏的视频数据对抗攻击方法。时空稀疏是指在生成对抗扰动时，仅对特定帧的特定区域生成扰动，以此降低对抗扰动的搜索空间，提高攻击效率。在该工作中，为了实现时空稀疏，我们根据启发式规则衡量每个帧的重要性，选择视频帧的子集进行扰动;同时，在空间上我们选择指定帧的写入区域，如针对前景运动的人做一些干扰。以此实现高效的视频黑盒攻击。
第三个工作是针对视频识别模型进行后门攻击。针对后门攻击，之前的研究都集中于图像领域，且都是生成固定的棋盘格式的后门，这种方法在视频上的攻击成功率极低。对此，我们提出了一种针对视频数据的后门攻击方法。在该工作中，我们首先对视频数据进行后门生成，并将后门图案安插在视频中不显眼的角落，同时我们对原始视频其他内容施加一些对抗干扰，使得我们识别的模型更加侧重利用后门，以此得到污染数据，并用污染的数据替换原始数据集里对应的数据，实现后门攻击。该工作在公开数据集上取得了比较好的攻击结果，在很多类别上平均攻击成功率可以实现80%左右，远高于现有的基于图像数据的后门攻击方法。
技术对人工智能治理至关重要
未来，技术将在人工智能安全问题检测以及相应规则落实上发挥重要的作用。在保障模型安全方面，通过发展对抗攻防理论设计更加鲁棒的智能模型，确保智能系统在复杂环境下的安全运行，形成人工智能安全评估和管控能力。在隐私保护上，发展联邦学习及差分隐私等理论与技术，规范智能系统分析和使用数据的行为，保障数据所有者的隐私。针对智能系统决策的可解释性问题，发展机器学习可解释性理论与技术，提升智能算法决策流程的人类可理解性，建立可审查、可回溯、可推演的透明监管机制。在决策公平方面，可以利用统计学理论与技术，消除算法与数据中的歧视性偏差，构建无偏见的人工智能系统。最后，为了保证人工智能技术不被滥用，可以通过发展大数据计算与模式识别等理论与技术，预防、检测、监管智能技术被滥用的情况，创造有益于人类福祉的人工智能应用生态。
姜育刚，复旦大学教授、博士生导师，计算机科学技术学院院长、软件学院院长、上海视频技术与系统工程研究中心主任。
文/姜育刚
本文来自《张江科技评论》
人工智能涉及的领域和技术有哪些方面
人工智能(计算机科学的一个分支)主要研究用人工的方法和技术，模仿、延伸和扩展人的智能,实现机器智能。有人把人工智能分成两大类：一类是符号智能，一类是计算智能。符号智能是以知识为基础，通过推理进行问题求解。也即所谓的传统人工智能。计算智能是以数据为基础，通过训练建立联系，进行问题求解。人工神经网络、遗传算法、模糊系统、进化程序设计、人工生命等都可以包括在计算智能。
人工智能上世纪的发展情况
从1956年正式提出人工智能学科算起，50多年来，取得长足的发展，成为一门广泛的交叉和前沿科学。总的说来，人工智能的目的就是让计算机这台机器能够像人一样思考。
传统人工智能主要运用知识进行问题求解。从实用观点看，人工智能是一门知识工程学：以知识为对象，研究知识的表示方法、知识的运用和知识获取。
人工智能从1956年提出以来取得了很大的进展和成功。1976年Newell和Simon提出了物理符号系统假设，认为物理符号系统是表现智能行为必要和充分的条件。这样，可以把任何信息加工系统看成是一个具体的物理系统，如人的神经系统、计算机的构造系统等。20世纪80年代Newell等又致力于SOAR系统的研究。SOAR系统是以知识块(Chunking)理论为基础，利用基于规则的记忆，获取搜索控制知识和操作符，实现通用问题求解。Minsky从心理学的研究出发，认为人们在他们日常的认识活动中，使用了大批从以前的经验中获取并经过整理的知识。该知识是以一种类似框架的结构记存在人脑中。因此，在70年代他提出了框架知识表示方法。到80年代，Minsky认为人的智能，根本不存在统一的理论。1985年，他发表了一本著名的书《SocietyofMind(思维社会)》。书中指出思维社会是由大量具有某种思维能力的单元组成的复杂社会。以McCarthy和Nilsson等为代表，主张用逻辑来研究人工智能，即用形式化的方法描述客观世界。逻辑学派在人工智能研究中，强调的是概念化知识表示、模型论语义、演绎推理等。McCarthy主张任何事物都可以用统一的逻辑框架来表示，在常识推理中以非单调逻辑为中心。传统的人工智能研究思路是“自上而下”式的，它的目标是让机器模仿人，认为人脑的思维活动可以通过一些公式和规则来定义，因此希望通过把人类的思维方式翻译成程序语言输入机器，来使机器有朝一日产生像人类一样的思维能力。这一理论指导了早期人工智能的研究。
近年来神经生理学和脑科学的研究成果表明，脑的感知部分，包括视觉、听觉、运动等脑皮层区不仅具有输入/输出通道的功能，而且具有直接参与思维的功能。智能不仅是运用知识，通过推理解决问题，智能也处于感知通道。
1990年史忠植提出了人类思维的层次模型，表明人类思维有感知思维、形象思维、抽象思维，并构成层次关系。感知思维是简单的思维形态，它通过人的眼、耳、鼻、舌、身感知器官产生表象，形成初级的思维。感知思维中知觉的表达是关键。形象思维主要是用典型化的方法进行概括，并用形象材料来思维，可以高度并行处理。抽象思维以物理符号系统为理论基础，用语言表述抽象的概念。由于注意的作用，使其处理基本上是串行的。
人工智能的技术应用领域
目前，人工智能在我国及欧美国家都属于热门的话题。我国更是有不少公司的产品动则加上“智能”2字。除了目前最热的机器学习，人工智能方向还有不少的技术应用，下面就简要介绍人工智能的技术应用领域。
主体技术
主体技术(agenttechnology)不仅是分布智能的研究热点，而且可能成为下一代软件开发的重要突破点。事实上，对主体的研究已经成为人工智能学科的核心内容，有人认为是人工智能研究的初始目标和最终目标
主体（agent）也叫智能体，代理，或智能agent。在本书中将agent统一采用主体。在计算机和人工智能领域中,主体可以看作是一个自动执行的实体，它通过传感器感知环境，通过效应器作用于环境。若主体是人，则传感器有眼睛、耳朵和其它器官，手、腿、嘴和身体的其它部分是效应器。若主体是机器人，摄像机等是传感器，各种运动部件是效应器。
机器学习
学习能力是人类智能的根本特征，人类通过学习来提高和改进自己的能力。学习的基本机制是设法把在一种情况下是成功的表现行为转移到另一类似的新情况中去。1983年西蒙（H.Simon）对学习定义如下：能够让系统在执行同一任务或同类的另外一个任务时比前一次执行得更好的任何改变[119]。这个定义虽然简洁，却指出了设计学习程序要注意的问题。学习包括对经验的泛化：不仅是重复同一任务，而且是域中相似的任务都要执行得更好。因为感兴趣的领域可能很大，学习者通常只研究所有可能例子中的一小部分；从有限的经验中，学习者必须能够泛化并对域中未见的数据正确的推广。这是个归纳的问题，这是学习的中心问题。在大多数学习问题中，不管用哪种算法，能用的数据不足以保证最优的泛化。学习者必须启发式的泛化，也就是说，他们必须选取经验中对未来更为有效的部分。这样的选择标准就是归纳偏置。
从事专家系统研究的人们认为，学习就是知识获取。因为在专家系统的建造中，知识的自动获取是很困难的。所以知识获取似乎就是学习的本质。也有的观点认为，学习是对客观经验表示的构造或修改。客观经验包括对外界事物的感受，以及内部的思考过程，学习系统就是通过这种感受和内部的思考过程来获取对客观世界的认识。其核心问题就是对这种客观经验的表示形式进行构造或修改。从认识论的观点看，学习是事物规律的发现过程。这种观点将学习看做从感性知识到理性知识的认识过程，从表层知识到深层知识的范化过程，也就是说，学习是发现事物规律，上升形成理论的过程。
总结以上观点，可以认为学习是一个有特定目的的知识获取过程，通过获取知识、积累经验、发现规律，使系统性能得到改进、系统实现自我完善、自适应环境。
自动推理
从一个或几个已知的判断(前提)逻辑地推论出一个新的判断(结论)的思维形式称为推理, 这是事物的客观联系在意识中的反映。人解决问题就是利用以往的知识, 通过推理得出结论。自动推理的理论和技术是程序推导、程序正确性证明、专家系统、智能机器人等研究领域的重要基础。
自动推理早期的工作主要集中在机器定理证明。机械定理证明的中心问题是寻找判定公式是否是有效的（或是不一致的）通用程序。对命题逻辑公式，由于解释的个数是有限的，总可以建立一个通用判定程序，使得在有限时间内判定出一个公式是有效的或是无效的。
从实际的观点来看, 每一种推理算法都遵循其特殊的、与领域相关的策略,并倾向于使用不同的知识表示技术。从另一方面来说,如果能找到一个统一的推理理论,当然是很有用的。人工智能理论研究的一个很强的推动力就是要设法寻找更为一般的、统一的推理算法。
数据挖掘
数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据集中识别有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。它是一门涉及面很广的交叉学科，包括机器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学等相关技术。
数据挖掘可粗略地理解为三部曲：数据准备（datapreparation）、数据挖掘，以及结果的解释评估（interpretationandevaluation）。
由于数据挖掘是一门受到来自各种不同领域的研究者关注的交叉性学科，因此导致了很多不同的术语名称。其中，最常用的术语是"知识发现"和"数据挖掘"。相对来讲，数据挖掘主要流行于统计界（最早出现于统计文献中）、数据分析、数据库和管理信息系统界；而知识发现则主要流行于人工智能和机器学习界。
本体知识系统
20世纪70年代后期，专家系统、知识系统和知识密集型的信息系统的构建技术发展而形成知识工程，所建立的系统简称为知识系统（knowledge-basedsystems）。知识系统是人工智能学科最重要的工业化和商业化产物。知识系统用于辅助人们进行问题求解，如检测信用卡诈骗、加速船舶设计、辅助医疗诊断、使科学软件更加智能化、向全体决策人员提供金融服务、产品质量的评价和广告宣传、支持电子网络的服务恢复。
知识工程
1977年美国斯坦福大学计算机科学家费根鲍姆教授(B．A．Feigenbaum)在第五届国际人工智能会议—提出知识工程的新概念。他认为，“知识工程是人工智能的原理和方法，对那些需要专家知识才能解决的应用难题提供求解的手段。恰当运用专家知识的获取、表达和推理过程的构成与解释，是设计基于知识的系统的重要技术问题。”这类以知识为基础的系统，就是通过智能软件而建立的专家系统。
知识工程可以看成是人工智能在知识信息处理方面的发展，研究如何由计算机表示知识，进行问题的自动求解。知识工程的研究使人工智能的研究从理论转向应用，从基于推理的模型转向基于知识的模型，包括了整个知识信息处理的研究，知识工程已成为一门新兴的边缘学科。
专家系统
专家系统是一类具有专门知识和经验的计算机智能程序系统，通过对人类专家的问题求解能力的建模，采用人工智能中的知识表示和知识推理技术来模拟通常由专家才能解决的复杂问题，达到具有与专家同等解决问题能力的水平。这种基于知识的系统设计方法是以知识库和推理机为中心而展开的，即：
专家系统=知识库+推理机
它把知识从系统中与其他部分分离开来。专家系统强调的是知识而不是方法。很多问题没有基于算法的解决方案，或算法方案太复杂，采用专家系统，可以利用人类专家拥有丰富的知识，因此专家系统也称为基于知识的系统（Knowledge-BasedSystems）。一般说来，一个专家系统应该具备以下三个要素：
（1）具备某个应用领域的专家级知识；
（2）能模拟专家的思维；
（3）能达到专家级的解题水平。
语义Web服务
语义Web是由WWW的创始人TimBerners-Lee在2001年正式提出的，它是对万维网本质的变革，它的主要任务是使数据能被计算机自动的处理和理解，其最终目标是让计算机可以在这些海量信息中找到人所需要的任何信息，从而将万维网中现存的信息发展成一个巨大的全球信息库、知识库。它研究的主要目的就是扩展当前的万维网，使得网络中的信息具有语义，能够被计算机理解，便于人和计算机之间的交互与合作，其研究重点就是如何把信息表示为计算机能够理解和处理的形式，即带有语义。TimBerners-Lee给出了语义Web中的层次结构关系，它主要基于XML和RDF/RDFS，并在此之上构建本体和逻辑推理规则，以完成基于语义的知识表示和推理，从而能够为计算机所理解和处理。
Web服务是当前最主要的一种服务实现技术，它为上述服务概念的落实提供了使能手段。Web服务最初是由Ariba、IBM和Microsoft等共同提出的，旨在为Internet上跨越不同地域、不同行业的应用提供更强大的互操作能力。Web服务是一种软件系统，被设计用于实现机器之间通过网络的互操作。Web服务拥有极其可处理的接口描述，外部系统可依据这个描述，通过SOAP消息与其交互。
语义网格
网格是一种新兴的技术，正处在不断发展和变化当中。简单地说，网格是一种信息社会的网络基础设施，是利用互联网把分散在不同地理位置上的多个资源，包括计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等全面连通和统一分配、管理及协调起来，通过逻辑关系组成一台“虚拟的超级计算机”。这台机器把每一台参与其中的、包括个人电脑在内的计算机都作为自己的一个“节点”，成千上万个这样的“节点”并联起来，就组成了“一张有超级计算能力的网格”。而每一位将自己的计算机连接到网格上的用户，也就“拥有了”这架超级计算机，可以随时随地调用其中的计算和信息资源，在获得一体化信息服务的同时，最大程度地实现资源共享。网格计算模式首先把要计算的数据分割，然后不同节点的计算机可以根据自己的处理能力下载一个或多个数据片断。只要位于某个节点的计算机的用户不使用计算机时，就会调动闲置的计算能力。网格的优势在于不但数据处理能力超强，而且能充分利用网上的闲置处理能力来节约计算成本，实现资源的共享，消除资源孤岛。
网格计算技术首先出现在科研领域的大型科学计算和项目研究中，医药、制造、气象、勘探等需要大型计算机功能的行业将首批成为这一技术的受益者，随着连接到网格系统上的计算资源的增加，网格计算技术也会造福于小企业和消费者，家庭PC用户也将能够用上公、私机构提供的更快、更廉价的服务，到那时任何设备可以在任何地方接入以享用某种层次的资源，而不必关心这些资源是从那里来的,就像用现在的电网一样。
神经网络
神经网络在文献中也称为人工神经网络、神经计算，连接主义人工智能，并行分布处理等。一个神经网络是一个由简单处理元构成的规模宏大的并行分布处理器，具有存储经验知识和使之可用的特性。神经网络从两个方面上模拟大脑。
（1）神经网络获取的知识是从外界环境中学习得来的。
（2）内部神经元的连接强度，即突触权值，用于储存获取的知识。
用于完成学习过程的程序称为学习算法，其功能是以有序的方式改变系统权值以获得想要的设计目标。突触权值修改提供神经网络设计的传统方法。这种方法和线性自适应滤波器理论很接近，滤波器理论已经很好地建立起来并成功应用在很多不同领域。但是神经网络修改它的拓扑结构亦是可能的，这也和人的神经元会死亡和新的突触连接会建立等情况相适应。
决策支持系统
长期来信息系统的研究者以及技术人员不断研究和构建决策支持系统（DSS）。DSS的大致发展历程是：60年代后期，面向模型的DSS的诞生，标志着决策支持系统这门学科的开端；70年代，DSS的理论得到长足发展；80年代前期和中期，实现了金融规划系统以及群体决策支持系统（GroupDSS）。80年代中期，通过将DDS与知识系统相结合，我们提出并实现了智能决策支持系统（IDSS）(参考:史忠植:知识工程)。文献表明，在那以后开始出现了主管信息系统，联机分析处理（OLAP）以及商业智能。90年代中期，发展基于Web的DSS成为了活跃的研究领域，并产生了广泛的影响。
人工生命
人工生命是指用计算机和精密机械等生成或构造表现自然生命系统行为特点的仿真系统或模型系统。自然生命系统的行为特点表现为自组织、自修复、自复制的基本性质，以及形成这些性质的混沌动力学、环境适应和进化。
美国圣菲研究所非线性研究组的兰顿(C.G.Langton)于1987年提出人工生命(artificiallife)[61]。人工生命的独立研究领域的地位已被国际学术界所承认。在1994年创刊并在世界著名学府麻省理工学院出版的国际刊物ArtificialLife，是该研究领域内的权威刊物。
为什么要研究人工生命？在这一领域研究时要支持哪些东西。从控制我们的生态环境的工程新应用到在自然界中为我们提供较好的前景这个广阔的范围，都可以找到它的应用。人工生命的研究可使我们更好地理解涌现特征，个体在低级组织中的集合，通过我们的相互作用，常可产生特征。该特征不仅仅是个体的重叠，而且是总体上新的出现特征。这样的现象可见于自然界的所有领域，但在生命系统中更为明显。生命本身确实有涌现性质，当总体分解为它们的组成部分时，相互作用所产生的涌现性质将全部消失。归约科学，它的研究方法今天看来是最严肃的学术研究，其中大部分是分析的方法。归约科学在各个领域都已取得很大成功。但自然的很多特性都被忽略，这并不是因为这些特性是无趣的或不重要的，相反，人们研究这些特性，但缺乏适当的工具和有效的方法来研究，人工生命领域的研究必须是综合的，把所有的因素综合考虑以创造生命形式，而不是肢解。
自然语言理解
自然语言是指人类语言集团的本族语，如汉语、英语等，它是相对于人造语言而言的，如C语言、JAVA语言等计算机语言。语言是思维的载体，是人际交流的工具，人类历史上以语言文字形式记载和流传的知识占到知识总量的80%以上。就计算机应用而言，有85%左右的应用都是用于语言文字的信息处理。在信息化社会中，语言信息处理的技术水平和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。
自然语言理解作为语言信息处理技术的一个高层次的重要研究方向，一直是人工智能领域的核心课题，也是困难问题之一，由于自然语言的多义性、上下文有关性、模糊性、非系统性和环境密切相关性、涉及的知识面广等原因，使得很多系统不得不采取回避的方法；另外，由于理解并非一个绝对的概念，它与所应用的目标相关，如是用于回答问题、执行命令，还是用于机器翻译。因此，关于自然语言理解，至今尚无一致的、各方可以接受的定义。从微观上讲，自然语言理解是指从自然语言到机器内部的一个映射；从宏观上看，自然语言是指机器能够执行人类所期望的某些语言功能。这些功能包括：
回答问题：计算机能正确地回答用自然语言输入的有关问题；
文摘生成：机器能产生输入文本的摘要；
释义：机器能用不同的词语和句型来复述输入的自然语言信息；
翻译：机器能把一种语言翻译成另外一种语言。
图像处理
图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形成于20世纪60年代初期。早期的图像处理的目的是改善图像的质量，它以人为对象，以改善人的视觉效果为目的。图像处理中，输入的是质量低的图像，输出的是改善质量后的图像，常用的图像处理方法有图像增强、复原、编码、压缩等。首次获得实际成功应用的是美国喷气推进实验室（JPL）。他们对航天探测器徘徊者7号在1964年发回的几千张月球照片使用了图像处理技术，如几何校正、灰度变换、去除噪声等方法进行处理，并考虑了太阳位置和月球环境的影响，由计算机成功地绘制出月球表面地图，获得了巨大的成功。随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理，以致获得了月球的地形图、彩色图及全景镶嵌图，获得了非凡的成果，为人类登月创举奠定了坚实的基础，也推动了数字图像处理这门学科的诞生。在以后的宇航空间技术，如对火星、土星等星球的探测研究中，数字图像处理技术都发挥了巨大的作用。数字图像处理取得的另一个巨大成就是在医学上获得的成果。1972年英国EMI公司工程师Housfield发明了用于头颅诊断的X射线计算机断层摄影装置，也就是我们通常所说的CT（ComputerTomograph）。CT的基本方法是根据人的头部截面的投影，经计算机处理来重建截面图像，称为图像重建。1975年EMI公司又成功研制出全身用的CT装置，获得了人体各个部位鲜明清晰的断层图像。1979年，这项无损伤诊断技术获得了诺贝尔奖，说明它对人类作出了划时代的贡献。与此同时，图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就，属于这些领域的有航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等，使图像处理成为一门引人注目、前景远大的新型学科。随着图像处理技术的深入发展，从70年代中期开始，随着计算机技术和人工智能、思维科学研究的迅速发展，数字图像处理向更高、更深层次发展。人们已开始研究如何用计算机系统解释图像，实现类似人类视觉系统理解外部世界，这被称为图像理解或计算机视觉。很多国家，特别是发达国家投入更多的人力、物力到这项研究，取得了不少重要的研究成果。其中代表性的成果是70年代末MIT的Marr提出的视觉计算理论，这个理论成为计算机视觉领域其后十多年的主导思想。图像理解虽然在理论方法研究上已取得不小的进展，但它本身是一个比较难的研究领域，存在不少困难，因人类本身对自己的视觉过程还了解甚少，因此计算机视觉是一个有待人们进一步探索的新领域。
信息检索
信息检索（InformationRetrieval），通常指文本信息检索，包括信息的存储、组织、表现、查询、存取等各个方面，其核心为文本信息的索引和检索。从历史上看，信息检索经历了手工检索、计算机检索到目前网络化、智能化检索等多个发展阶段。信息检索的对象从相对封闭、稳定一致、由独立数据库集中管理的信息内容扩展到开放、动态、更新快、分布广泛、管理松散的Web内容；信息检索的用户也由原来的情报专业人员扩展到包括商务人员、管理人员、教师学生、各专业人士等在内的普通大众，他们对信息检索从结果到方式提出了更高、更多样化的要求。适应网络化、智能化以及个性化的需要是目前信息检索技术发展的新趋势。
模式识别
模式识别(PatternRecognition)是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、辨认、分类和解释的过程,是信息科学和人工智能的重要组成部分。
模式还可分成抽象的和具体的两种形式。前者如意识、思想、议论等,属于概念识别研究的范畴,是人工智能的另一研究分支。我们所指的模式识别主要是对语音波形、地震波、心电图、脑电图、图片、照片、文字、符号、生物的传感器等对象进行测量的具体模式进行分类和辨识。
模式识别研究主要集中在两方面,一是研究生物体(包括人)是如何感知对象的，属于认识科学的范畴,二是在给定的任务下,如何用计算机实现模式识别的理论和方法。前者是生理学家、心理学家、生物学家和神经生理学家的研究内容,后者通过数学家、信息学专家和计算机科学工作者近几十年来的努力,已经取得了系统的研究成果。
应用计算机对一组事件或过程进行鉴别和分类。所识别的事件或过程可以是文字、声音、图像等具体对象，也可以是状态、程度等抽象对象。这些对象与数字形式的信息相区别，称为模式信息。
浅谈人工智能的伦理问题
浅谈人工智能的伦理问题
资料整理，仅供参考
引言2018 年3月 18日晚上 10 点左右，伊莱恩·赫兹伯格（ElaineHerzberg）骑着自行车穿过亚利桑那州坦佩市的一条街道，突然间被一辆自动驾驶汽车撞翻，最后不幸身亡。这是一辆无人自动驾驶汽车，尽管车上还有一位驾驶员，但车子由一个完全的自驾系统（人工智能）所控制。与其他涉及人与AI技术二者之间交互的事件一样，此事件引发了人们对人工智能中道德和法律问题的思考。系统的程序员必须履行什么道德义务来阻止其研发产品导致人类的生命受到威胁？谁对赫兹伯格的死负责？是该自动驾驶汽车公司测试部们？人工智能系统的设计者，甚至是机载传感设备的制造商？
关于人工智能的伦理讨论一直在进行，从人工智能研究的开始，重点主要集中在讨论可能性和对未来影响的理论工作，但对人工智能实际应用中研究讨论较少。尽管学术界对人工智能伦理道德的关系进行探讨已经持续了几十年，但并没有得出普遍的人工智能伦理是什么，甚至应该如何定义命名也没有统一规范化。近年来，随着社会科技技术的不断发展，人工智能的发展取得重大的突破。人工智能相关伦理研究讨论日益广泛，影响着我们的生活。在当前AI伦理受到越来越多讨论研究的背景下，本文主要通过对一些案例分析人工智能的伦理问题，结合本学期《工程伦理》课程所学，谈谈自己的理解与收获。
人工智能及其案例讨论分析“人工智能”被设计为一种为从环境中获取因素的系统，并基于这些外界的输入来解决问题，评估风险，做出预测并采取行动。在功能强大的计算机和大数据时代之前，这种系统是由人类通过一定的编程及结合特定规则实现，随着科学技术的不断进步，新的方法不断出现。其中之一是机器学习，这是目前AI最活跃最热门的领域。应用统计学的方法，允许系统从数据中“学习”并做出决策。关注技术的进步，我们更关注的是在极端情况下的伦理问题。例如在一些致命的军事无人机中使用AI技术，或者是AI技术可能导致全球金融体系崩溃的风险等。
对大量的数据进行汇总分析，我们可以利用AI技术帮助分析贷款申请人的信誉，决定是否给予贷款以及额度，同时也可以对应聘者进行评估，决定是否录取，还可以预测犯罪分子再次犯罪的几率等等。这些技术变革已经深刻影响着社会，改变着人们生活。但是，此类技术应用也会引发一些令人困扰的道德伦理问题，由于AI系统会增强他们从现实世界数据中学到的知识，甚至会放大对种族和性别偏见。因此，当遇到不熟悉的场景时，系统也会做出错误的判断。而且，由于许多这样的系统都是“黑匣子”，人们往往很难理解系统做出判断的内在原因，因此难以质疑或探究，给人们决策带来风险。举几个具体例子：2014年，亚马逊开发了一种招聘工具，用于识别招聘的软件工程师，结果该系统却表现出对妇女的歧视，最后该公司不得不放弃了该系统。2016年，ProPublica在对一项商业开发的系统进行了分析，该系统可预测罪犯再次犯罪的可能性，旨在帮助法官做出更好的量刑决定，结果也发现该系统对黑人有歧视偏见。在过去的两年中，自动驾驶汽车在依靠制定的规则和训练数据进行学习，然而面对陌生的场景或其系统无法识别的输入时，无法做出正确判断，从而导致致命事故。
由于这些系统被视为专有知识产权，因此该私人商业开发人员通常拒绝提供其代码以供审查。同时，技术的进步本身并不能解决AI核心的根本问题—经过深思熟虑设计的算法也必须根据特定的现实世界的输入做出决策。然而这些输入会有缺陷，并且不完善，具有不可预测性。计算机科学家比其他人更快地意识到，在设计了系统之后，不可能总是事后解决这些问题。越多人认识到道德伦理问题应该被当作在部署一个系统前所要考虑的一个问题。
对失业、不平衡问题的讨论与思考人工智能的重要的道德和伦理问题，既是社会风险的前沿，也是社会进步的前沿。我们讨论两个突出问题：失业、不平衡问题。
1.失业
几十年来，为了释放人类劳动，我们一直在制造模仿人类的机器，让机器替代我们更有效地执行日常任务。随着经济的飞速发展，自动化程度越来越高，大量新发明出现在我们生活中，使我们的生活变得更快，更轻松。当我们使用机器人替代我们人类完成任务，即让手工完成的工作变成自动化时，我们就释放了资源来创建与认知而非体力劳动有关的更复杂的角色。这就是为什么劳动力等级取决于工作是否可以自动化的原因（例如，大学教授的收入比水管工的收入还多）。麦肯锡公司最近的一份报告估计，到2030年，随着全球的自动化加速，接近8亿个工作岗位将会消失。例如，随着自动驾驶系统兴起，AI技术引发了人们对失业的忧虑，大量的卡车司机工作岗位可能受到威胁。我们人类将有史以来第一次开始在认知水平上与机器竞争。最可怕的是，它们比我们拥有更强大的能力。也有一些经济学家担心，作为人类的我们将无法适应这种社会，最终将会落后与机器。
2.不平衡
设想没有工作的未来会发生什么？目前社会的经济结构很简单：以补偿换取贡献。公司依据员工一定量的工作来支付其薪水。但是如果借助AI技术，公司可以大大减少其人力资源。因此，其总收入将流向更少的人。那些大规模使用新技术的公司，其少部分人将获得更高比例的工资，这导致贫富差距在不断扩大。在2008年，微软是唯一一家跻身全球十大最有价值公司的科技公司。苹果以39位居第二，谷歌以51位居第三。然而，到2018年，全球十大最有价值公司前五名均是美国科技公司。
当今世界，硅谷助长了“赢者通吃”的经济，一家独大的公司往往占据大部分市场份额。因此，由于难以访问数据，初创企业和规模较小的公司难以与Alphabet和Facebook之类的公司竞争（更多用户=更多数据，更多数据=更好的服务，更好的服务=更多的用户）。我们还发现一个现象，就是这些科技巨头创造的就业机会相比于市场上其他公司往往少很多。例如，1990年，底特律三大公司的市值达到650亿美元，拥有120万工人。而在2016年，硅谷三大公司的价值为1.5万亿美元，但只有190,000名员工。那么如今技能变得多余的工人将如何生存，这样趋势下去会不会引发社会暴乱，科技巨头应不应该承担更多的社会责任，这些都是值得我们思考的问题。
人工智能伦理问题建议由上文可知，缺乏对伦理的认知，会对社会及人类生活造成的一定风险，因此，为加强AI伦理因素在实际应用的正确导向作用，应从以下几个方面入手：
1.明确定义道德行为
AI研究人员和伦理学家需要将伦理价值表述为可量化的参数。换句话说，他们需要为机器提供明确的答案和决策规则，以应对其可能遇到的任何潜在的道德困境。这将要求人类在任何给定情况下就最道德的行动方针达成共识，这是一项具有挑战性但并非不可能的任务。例如，德国自动驾驶和互联驾驶道德委员会提出：建议将道德价值观编程到自动驾驶汽车中，以优先保护人类生命为重中之重。在不可避免的致命撞车事故发生时，汽车不应基于年龄，性别、身体或心理构造等个人特征来选择是否要杀死一个人。
2.众包人类道德伦理
工程师需要收集足够的关于明确道德伦理标准的数据，以适当地训练AI算法。即使在为道德价值观定义了特定的指标之后，如果没有足够的公正数据来训练模型，那么AI系统可能仍会难以取舍。获得适当的数据具有挑战性，因为道德伦理规范不能始终清晰地标准化。不同的情况需要采取不同的方针，在某些情况下可能根本没有单一的道德伦理行动方针。解决此问题的一种方法是将数百万人的道德伦理困境的潜在解决方案收集打包。例如，麻省理工学院的一个项目，其展示了如何在自动驾驶汽车的背景下使用众包数据来有效地训练机器以做出更好的道德决策。但研究结果还表明，全球道德价值观可能存在强烈的跨文化差异，在设计面向人的AI系统时也要注意考虑这一因素。
3.使AI系统更加透明
政策制定者需要实施指导方针，使关于伦理的AI决策，尤其是关于道德伦理指标和结果的决策更加透明。如果AI系统犯了错误或产生了不良后果，我们将不能接受“ 算法做到了 ”作为借口。但是我们也知道，要求完全算法透明性在技术上不是很有用。工程师在对道德价值进行编程之前应该考虑如何量化它们，以及考虑运用这些人工智能技术而产生的结果。例如，对于自动驾驶汽车，这可能意味着始终保留所有自动决策的详细日志，以确保其道德伦理责任。
结束语伦理问题的出现是工程活动发展的必然要求。以人工智能技术为基础的现代工程活动日益复杂，对自然和社会的影响越来越深刻。同时，作为工程活动中的关键角色，工程师群体在一定意义上具有改变世界的力量。正所谓“力量越大，责任也就越大”。工程师在一般的法律责任之外，还负有更重要的道德责任。作为AI领域的工程技术人员，不断创新人工智能技术的同时也要关注实际应用中的伦理道德，相信人工智能技术可以让世界变得更加美好！