人工智能的三大学派
符号主义、连接主义、行为主义是人工智能的三大学派。
符号主义(symbolicism)符号主义,又称逻辑主义、心理学派或计算机学派。
人工智能的符号主义学派是一种认为人工智能源于数理逻辑的观点,它试图用符号系统和规则来表示和操作人类的思维过程,例如推理、证明、解决问题等。
下图是用决策树模型输入业务特征预测天气,就是典型的符号主义。
图:用决策树模型输入业务特征预测天气
它叫做符号主义,是因为它使用了数学和物理学中的逻辑符号,如变量、常量、函数、谓词、量词等,来构建复杂的表达式和语句,从而表达知识和逻辑。
符号主义学派是人工智能的早期和主流学派之一,它的代表性成果有专家系统和知识工程等。
符号主义首个代表性成果是:1956年Newell和Simon等人研制的成为“逻辑理论家”的数学定理证明程序LT,可以证明出《自然哲学的数字原理》(PrincipiaMathematica)中的38条数学定理(后来可以证明全部52条定理),表明了可以应用计算机研究人的思维过程,模拟人类智能活动。
图:Newell和Simon
符号主义最辉煌的时候,是专家系统,专家系统的能力来自于它们存储的专业知识,知识库系统和知识工程成为了上世纪80年代AI研究的主要方向。
图:专家系统
专家系统仅限于一个专业细分的知识领域,从而避免了常识问题;专家系统其简单的设计又使它能够较为容易地编程实现或修改。专家系统仅仅局限于某些特定情景,且知识采集难度大、费用高、使用难度大,在其它领域如机器翻译、语音识别等领域基本上未取得成果。未能实现的日本的第五代计算机项目就是典型。图:日本第五代计算机概念图
在20世纪80年代末,符号主义学派开始衰落。其原因如下:
符号主义试图将人类思想、行为和结果抽象为简洁深入的规则,类似于数学定理。然而,人类的思想是极其复杂而广泛的,而人类的智能不仅仅是逻辑和推理的结果。人类抽象出的符号,源头是身体对物理世界的感知,人类能够通过符号进行交流,是因为人类拥有类似的身体。计算机只处理符号,就不可能有类人感知,人类可意会而不能言传的“潜智能”,不必或不能形式化为符号,更是计算机不能触及的。1997年5月,名为“深蓝”的IBM超级计算机打败了国际象棋世界冠军卡斯帕罗夫,这一事件在当时也曾轰动世界,其实本质上,“深蓝”就是符号主义在博弈领域的成果。
图:卡斯帕罗夫对战超级电脑“深蓝”
连接主义(connectionism)连接主义认为人工智能源于仿生学,用神经网络和学习算法来模拟人类的大脑结构(神经元的连接)和功能,代表性的成果有感知机和反向传播算法。
1957年,弗兰克·罗森布拉特(FrankRosenblatt)在一台IBM-704计算机上模拟实现了一种他发明的叫做“感知机”(Perceptron)的神经网络模型。
图:神经细胞与感知机
感知机可以被视为一种最简单形式的前馈式人工神经网络,是一种二分类的线性分类判别模型,其输入为实例的特征向量(x1,x2...),神经元的激活函数f为sign,输出为实例的类别(+1或者-1),模型的目标是要将输入实例通过超平面将正负二类分离。
1969年,“符号主义”代表人物马文·明斯基(MarvinMinsky)的著作《感知器》提出对XOR线性不可分的问题:单层感知器无法划分XOR原数据,解决这问题需要引入更高维非线性网络(MLP,至少需要两层),但多层网络并无有效的训练算法。这些论点给神经网络研究以沉重的打击,神经网络的研究走向长达10年的低潮时期。
1974年,哈佛大学沃伯斯(PaulWerbos)博士论文里,首次提出了通过误差的反向传播(BP)来训练人工神经网络。
BP算法的基本思想不是(如感知器那样)用误差本身去调整权重,而是用误差的导数(梯度)调整。通过误差的梯度做反向传播,更新模型权重,以下降学习的误差,拟合学习目标,实现“网络的万能近似功能”的过程。
其后的发展就是等算力和数据的提升,我们在深度学习中有讲解。
知识图谱知识图谱是大数据时代的知识工程集大成者,是符号主义与连接主义相结合的产物,是实现认知智能的基石。
行为主义(actionism)强调行为和刺激之间的关系,将人类的思维过程看成是一种条件反射和刺激响应的过程。认为人工智能源于控制论,用感知-动作模式和自适应机制来模拟人类的行为和反应,代表性的成果有进化算法和多智能体系统。
这一学派的代表作者首推布鲁克斯(Brooks)的六足行走机器人,它被看作是新一代的“控制论动物”,是一个基于感知-动作模式模拟昆虫行为的控制系统。
图:1989年,由麻省理工学院制造的六足机器人Genghis(成吉思汗),被认为是现代历史上最重要的机器人之一。由于其体积小,材料便宜,Genghis被认为缩短了生产时间和未来空间机器人设计的成本。它有12个伺服电机和22个传感器,可以穿越多岩石的地形。
在他的实验室中还有大量的机器昆虫(如上图所示),相对于那些笨拙的机器人铁家伙来说,这些小昆虫要灵活得多。
著名的研究成果还有波士顿动力机器人和波士顿大狗。
图:波士顿大狗
总结研究领域
注重方向
符号主义
研究抽象思维
注重数学可解释性
连接主义
研究形象思维
偏向于仿人脑模型
行为主义
研究感知思维
偏向于应用和身体模拟
人类具有智能不仅仅是因为人有大脑,并且能够保持持续学习。机器要想更“智能”,也需要不断学习。符号主义靠人工赋予机器智能,连接主义是靠机器自行习得智能,行为主义在与环境的作用和反馈中获得智能。它们彼此之间扬长补短,相信随着人工智能研究的不断深入,这三大学派会融合贯通,共同合作创造更强大的强大的人工智能。
走进人工智能
前言:
深度学习通过训练深层神经网络模型,可以自动学习和提取数据的特征,包括更准确的图像识别、自然语言处理、医学诊断等方面的应用。
文章目录序言背景算法的创世纪技术支持应用领域程序员如何学总结序言深度学习是一种机器学习方法,其目标是通过模拟人脑神经网络的结构和功能,让机器能够从大量的数据中自动学习和提取特征,从而实现智能化的数据处理和决策。深度学习的核心思想是建立多层次的神经网络,通过层与层之间的连接和信息传递,对输入数据进行逐层的特征提取和抽象,最终实现对复杂任务的准确预测和分类。
背景深度学习的基本概念包括神经网络、前向传播、反向传播和深度学习框架等。神经网络模仿人脑神经系统中的结构和功能,由多个神经元连接组成。
起源和早期探索(1943-1956年):深度学习的起源可以追溯到1943年,当时神经生理学家WarrenMcCulloch和逻辑学家WalterPitts合作提出了第一个人工神经元模型。随后,1956年举行的达特茅斯会议被视为人工智能领域的里程碑事件,启发了深度学习等领域的研究。
进入冬眠期(1960-1980年):在20世纪60年代至80年代,深度学习进入了一个相对低谷的时期。由于当时计算能力的限制和缺乏有效的训练算法,深度神经网络的研究受到了限制,人工智能研究的重心转向了符号推理和专家系统等领域。
重新崛起(1980-2010年):随着计算能力的提升和新的理论突破,深度学习在20世纪80年代和90年代重新崛起。其中,1986年,Rumelhart、Hinton和Williams提出的反向传播算法为深度学习的训练提供了一种有效的方法。此外,1998年,YannLeCun等人的工作展示了卷积神经网络在图像识别方面的潜力,为深度学习的应用提供了重要的突破。深度学习的复兴(2010年至今):2010年以后,深度学习开始进入新的黄金时代。这得益于大规模数据集的可用性、计算能力的飞速提升以及新的神经网络架构的出现。其中,Hinton等人的工作在ImageNet竞赛中展示了深度卷积神经网络的卓越性能,引发了对深度学习的广泛关注。此后,深度学习在计算机视觉、自然语言处理、语音识别等领域取得了重大突破。
算法的创世纪深度学习是一种革命性的人工智能技术,为算法带来了巨大的革新,同时也开创了一个全新的时代。其强大的特征提取能力和端到端学习方法使得深度学习在图像识别、语音处理、自然语言处理等领域取得了惊人的成果。本文将详细讲解深度学习对算法带来的革新以及创世纪的过程。
深度学习的革新体现在表征学习与特征提取方面传统的机器学习方法通常需要人工设计和选择特征,但随着问题复杂性的增加,手工设计特征变得困难且耗时。而深度学习通过多层神经网络模型自动学习和提取数据的特征,无需依赖人工特征设计。这种自动化的特征提取能力使得深度学习在图像、语音和文本等领域表现出色,为算法的发展带来了巨大的推动力。深度学习引领了算法的创世纪过去,神经网络作为一种模拟人脑神经元连接的模型已经存在多年,但由于计算能力和数据规模的限制,神经网络的发展相对缓慢。然而,随着计算机硬件和大规模数据的可用性提升,深度学习算法在2006年至2012年期间取得了突破性进展。重要的里程碑包括深度信念网络(DBN)的提出和卷积神经网络(CNN)在图像识别竞赛中的惊人表现。这些里程碑推动了深度学习的快速发展,使其成为当今人工智能领域最具影响力的技术之一。深度学习的创世纪得益于硬件和软件的支持图形处理器(GPU)的发展为深度学习计算提供了强大的计算能力,使得大规模的神经网络训练成为可能。同时,深度学习框架(如TensorFlow、PyTorch)的出现使得模型训练和部署更加简单和灵活。这些硬件和软件的进步为深度学习的广泛应用提供了基础,推动了其在各个领域的成功应用。技术支持深度学习作为一种强大的人工智能技术,背后依赖着多个关键技术支持,这些技术支持是深度学习能够取得巨大成功的基础。在本文中,笔者将详细讲解深度学习背后的技术支持,使读者更好地了解其原理和实现方式。
神经网络架构:神经网络是深度学习的核心组成部分。深度学习采用多层神经网络模型,其中包含输入层、多个隐藏层和输出层。这些层之间的神经元通过权重连接,并通过激活函数进行非线性变换。这种层级结构使得神经网络可以从数据中学习更高级别的特征和模式。反向传播算法:反向传播是深度学习中用于训练神经网络的核心算法。它通过计算损失函数对网络参数的梯度,并将梯度从输出层传播到输入层,从而更新网络的权重和偏置。反向传播算法实现了误差的反向传递和参数的优化,使得神经网络能够逐步调整自身以更好地拟合数据。优化算法:深度学习中的优化算法用于最小化损失函数并寻找最优的网络参数。常用的优化算法包括梯度下降、随机梯度下降(SGD)、Adam等。这些算法通过不断调整网络参数,使得神经网络在训练过程中逐渐逼近最优解。计算加速硬件`深度学习的训练和推理过程对计算资源的需求非常高。为了加快深度学习模型的训练速度,研究人员提出了各种计算加速硬件,如图形处理器(GPU)和专用的深度学习加速器(如TensorProcessingUnit)。这些硬件可以并行执行矩阵运算和张量操作,大幅提升深度学习的计算效率。
大规模数据集和云计算:深度学习模型通常需要大量的数据进行训练,而随着互联网的发展,我们可以轻松地收集和存储海量数据。大规模数据集为深度学习提供了更多的训练样本,使得模型能够更好地学习数据的分布特征。同时,云计算平台的出现为深度学习提供了强大的计算和存储资源,使得大规模模型的训练和部署变得更加可行和高效。
开源框架和工具:为了方便研究人员和开发者使用深度学习技术,许多开源的深度学习框架和工具被开发出来,如TensorFlow、PyTorch、Keras等。这些框架提供了丰富的函数库和API,简化了深度学习模型的构建、训练和部署过程。
应用领域作为一位笔者,我将详细阐述深度学习在几个实体应用领域的重要性和突破。深度学习作为一种强大的人工智能技术,以其出色的模式识别和特征提取能力,在各个行业中都发挥着重要作用。
医疗保健:深度学习在医疗保健领域具有巨大潜力。它可以用于医学影像分析,如肿瘤检测、疾病诊断和脑部扫描等。深度学习还可以用于生物信息学,分析大规模的基因组数据,帮助研究人员了解疾病的发病机制和个体化治疗。此外,深度学习还可以应用于医疗记录的自动化处理和医疗咨询系统的开发,提高医疗保健的效率和准确性。金融服务:深度学习在金融服务领域的应用越来越广泛。它可以用于信用评分和风险管理,通过分析大量的金融数据,帮助银行和金融机构识别潜在的欺诈行为和风险因素。深度学习还可以应用于股票市场的预测和交易策略的优化,帮助投资者做出更明智的投资决策。此外,深度学习在高频交易、智能客服和虚拟助理等金融应用中也发挥着重要作用。交通和智能交通:深度学习在交通领域有着广泛的应用。它可以用于交通流量预测和拥堵监测,帮助城市规划者优化交通流动和减少交通拥堵。深度学习还可以用于智能驾驶和自动驾驶技术,通过对传感器数据的实时分析,实现车辆的自主导航和智能决策。此外,深度学习还可以应用于智能交通信号控制和交通事故预测,提高交通安全性和效率。零售和电子商务:深度学习在零售和电子商务领域的应用也越来越重要。它可以用于商品推荐和个性化营销,通过分析用户的购买历史和行为模式,向用户提供个性化的推荐和购物建议。深度学习还可以应用于商品图像识别和视觉搜索,使用户可以通过图片搜索相关的商品。此外,深度学习还可以用于供应链管理和库存优化,帮助企业提高运营效率和客户满意度。媒体和娱乐:深度学习在媒体和娱乐领域有着广泛的应用。它可以用于视频内容分析和标记,实现自动视频标签和内容搜索。深度学习还可以应用于音乐生成和推荐,帮助用户发现新的音乐和艺术家。此外,深度学习还可以用于虚拟现实和增强现实技术,提供更沉浸式和交互式的娱乐体验。程序员如何学作为一个程序员,理解和应用深度学习技术需要坚实的基础知识、实践的经验和持续的学习。通过系统学习基础知识、参与实践项目和追踪最新技术,你将能够在深度学习领域取得更好的发展,并为实现各种创新和应用提供强有力的支持。
要理解和应用计算机视觉技术,你需要采取一系列有针对性的学习和实践步骤。下面我将分成三个自然段,为你详细讲解。
1.建立坚实的数学和统计基础:深度学习是建立在数学和统计学的基础上的。作为程序员,需要掌握线性代数、微积分和概率论等数学知识,并理解它们在深度学习中的应用。这将帮助理解深度学习的原理和算法,并能够更好地进行模型调整和优化。
你可以通过参加在线课程、阅读相关书籍和论文,以及参与深度学习社区来学习这些基础知识。建议学习一门编程语言,如Python,因为它在计算机视觉领域应用广泛,并且有许多优秀的开源库和工具可供使用。
2.深入学习深度学习的理论知识:学习深度学习的理论知识是必不可少的。可以通过阅读经典的深度学习教材和论文,掌握深度学习的基本概念、模型架构和训练算法。了解不同类型的神经网络(如卷积神经网络、循环神经网络和生成对抗网络)以及它们的应用场景和特点。
此外,参与开源社区和团队合作也是提高实践能力的好方法。与其他深度学习开发者分享经验和交流,可以加速你的学习和成长。
3.·持续学习和实践:深度学习是一个快速发展的领域,不断更新的技术和算法需要保持学习的状态。定期阅读最新的研究成果和论文,关注深度学习领域的新兴技术和趋势。同时,通过不断实践和解决实际问题,提升自己的深度学习
实践项目和编程实验:深度学习的实践是提高技能的关键。可以选择一些经典的深度学习项目,如图像分类、目标检测或自然语言处理,尝试使用深度学习框架(如TensorFlow或PyTorch)实现这些项目。
总结作为读者,您可能会好奇深度学习在不同领域的应用。无论是医疗、金融、交通还是娱乐,深度学习都有着巨大的潜力。它能够帮助医生诊断疾病、帮助金融机构预测市场趋势、改善交通流量管理,并为我们提供更智能化的娱乐体验。随着技术的进一步发展,我们可以期待深度学习在更多领域中的应用,为我们的生活带来更多的便利和创新。
同时也带来了一些挑战和考验。作为读者,我们应该保持警觉,关注伦理和隐私的问题。深度学习需要大量的数据来训练模型,而这些数据可能包含个人隐私信息。因此,我们需要确保数据的安全性和隐私保护,并制定相应的法律和规范来规范深度学习的应用。
最后,我想鼓励各位读者积极参与到深度学习的学习和研究中来。深度学习是一个开放且不断发展的领域,每个人都可以为其发展做出贡献。无论您是学生、研究者还是行业专业人士,都可以通过学习深度学习的基本原理和实践技巧,掌握这项强大的技术,推动社会的进步和创新。