人工智能中的记忆问题——哲学在智能时代出场的一种方式
2018年12月12日，斯坦福大学发布AIIndex报告。这一报告具有比较重要的价值，能够让我们把握到人工智能领域的发展及其趋势。这一报告至少指出了三个值得研究者关注的地方：1）机器学习、神经网络和计算机视觉曾经是三大热门方向；2）相比图像，语言与常识将成为人工智能研究的前沿；3）AI的人文科学研究对于全世界来说都是薄弱点。第三点非常值得人文学科领域的学者关注。在人文学术日渐萎缩的今天，人工智能超出技术的规定性或许给人文学科复兴带来一种新的可能性。
通常所说的人文学科主要范围较广，包括哲学、历史、文学、哲学、宗教、音乐、艺术等。只是这种说法于人工智能的人文研究探讨没有直接帮助，并不是所有的人文社会科学都与AI领域相关，我们需要从技术发展的脉络中把握到可能的相关性学科，如最为直接相关的伦理学、心灵哲学、社会学，还有较为相关的艺术学。从哲学角度展开更进一步的思考显得非常必要。作为诸多学科的基础，如果我们能够从哲学学科中看到强化的可能性，那么其他人文社会科学的相关研究也就具有了理论基础。本文的考察将继续挖掘智能时代哲学可能的出场方式。一般说来，哲学被看作是“解码人工智能的钥匙”的观念逐渐成形。“钥匙”的比喻观念最初来自牛津大学物理学教授戴维·多伊奇（DavidDeutsch），后来被国内哲学界接受，如哲学是理解“发展”的信息文明的钥匙（王天恩，2018）。笔者提出了“记忆哲学是解码人工智能及其发展的钥匙”（杨庆峰，2018）。
在“钥匙比喻”的基础上继续反思，能够给予哲学在人工智能问题讨论中更为扎实的根基，也能够厘清哲学在智能时代的出场方式。本文选取角度是记忆研究。在以前的研究中，笔者指出记忆是古老的哲学问题，但是逐渐被哲学自身淡忘，继而转变为心理学的问题（杨庆峰，2017；2018）。为了更好地展开分析，我们从人工智能的四种讨论方式入手分析。这四种讨论方式是：语言学讨论、功能性讨论、行为性讨论和结构性讨论。
希腊神话中司记忆、语言和文字的女神墨涅莫辛涅（Mnemosyune），九位缪斯女神之一。19世纪英国画家罗塞蒂绘。首先是语义学的讨论中通常会将智能与能力等同起来，记忆被看作是诸多能力之一。在语义学的讨论中，智能则体现为人工智能系统的诸多能力，人工智能也被定义为让机器模仿人类智能思考或行为就成为比较普遍接受的定义。在能力的划分上，就可以区分为基本能力和高级能力。在18世纪的哲学人类学的视野中，基础能力常常体现为与五种感官有关系的能力，如视觉、听觉、触觉、味觉和嗅觉。还有一种是与对运动物体把握的基本能力，这种感觉能力直到20世纪初才被揭示出来。高级能力通常是被看作是与理性和情感有关系的诸多能力。前者如理解、判断、推理，后者如各类情感。记忆通常被看作是重要的基本能力之一，因为它是人类感觉滞留的结果，除此以外，记忆又被看作是人类思考、决策和行动的基础。这种认识被普遍接受。美国纽约大学教授杨立坤（YannLeCun）指出，“智能和常识等于知觉+预测模式+记忆+推理和规划”。他指出了预测学习的最主要的任务是从提供的数据信息出发预测过去、现在和未来的一部分。首先是并没有把握到记忆的关键本质，即它是作为上述现象得以存在和呈现的前提和条件。其次是忽略了遗忘的重要作用。神经科学的最新成果开始揭示出遗忘在思考、决策和行动中的作用。另外，在不同智能体记忆能力的揭示中，很多让人惊叹的观点被揭示出来。如最近的一项研究成果显示：人工智能体在进行空间记忆的时候呈现出与人类和动物生物体类似的神经元结构。这一结论让我们需要注意和思考机器智能、人类智能和动物智能之间的相似性。还有在智能体的讨论中，与记忆有关的经历会成为一个重要问题。当我们讨论机器是否具有记忆问题的时候，这不仅仅是语言分析问题，也不仅仅是功能实现问题，而是关系到机器能否超越人类的前提性问题。
其次是智能体的功能性讨论中更加突出了人工智能是基于某种特定结构或机制要实现的功能表达，记忆被看作是构成上述特定结构或者增强特定结构及机制的重要因素之一。如中国科学院陈霖院士指出人工智能的核心基础科学问题是认知和计算。而记忆是认知层次构成的重要成分。同样身为院士的清华大学张跋教授指出人工智能的趋势是基于知识和数据的AI系统。而构成这两种能力的基础是记忆，对历史数据进行解读的基础上进行的决策和行动。在杨立坤看来，循环网络不能进行长期记忆、需要一个单独的“海马体”（记忆模块）。在神经网络能力的增强上，记忆模块具有不可忽视的作用。这些观点都显示了人工智能中记忆概念的必要性。只是在不同的能力揭示中，有着不同的记忆定义。比如与感知能力有关的记忆理解中，记忆表现为信息的存储和提取；而在认知的范畴中，记忆信息成为认知得以可能的前提条件。在决策范畴中，记忆主要表现为有效信息的提取，遗忘表现为无效信息的筛选和忽略。在讨论到机器持续学学习的功能的时候，德国科学家张建伟提到了“机器自身的记忆发展”。
第三，在智能体的行为性讨论中，行为会表现为至少四种相关模式，而记忆在这些模式中的作用是不可忽视的。根据现象学方法，我们可以把行为相关模式划分为意识主体—行为模式、语境—行为模式、环境—行为模式以及智能体—行为模式。智能体—行为模式通常可以被看作是准主体—行为模式，因为它具有与主体—行为模式相类似的结构。意识—行为模式强调的是行为基于某种意识目的主导的结果，在这一概念框架中，那么行动需要的不仅仅是感知、计算和判断，还有在学习过程中积累的经验；而语境—行为模式则强调行为背后的社会—文化—政治等因素，它不同于纯粹客观的环境因素。如果以语境—行为作为概念框架，那么行为的是出于特定的语境的，而这种语境的确立则吸取了机器的经验；环境—行为模式主要强调环境对于某种特定行为产生的作用，也强调行为是对某种特定环境做出的反应；智能体—行为模式则强调功能体的行为是对于认为设计场景环境做出的反应，那么行动强调的是对环境做出反应。这四种模式都需要记忆作为前提，在这些行为的事实过程中，保留过去学习的经验有助于持续性学习和预测性学习。
第四，在结构性讨论中，我们更关注智能体—人类的统一体，而问题主要集中在智能体对于人类记忆的影响讨论上。当我们进入到人与智能体构成的智能系统时，这一问题远远超出了硬件，而是包含着更加复杂的人文维度。比如对于人工智能对于人类自身记忆的影响。在世界顶尖科学家论坛上，科学家讨论人工智能话题的时候，注意到这一问题。在那个世界有名的“桌布”上，至少有两位科学家提到了AI对于人类记忆的影响，比如人类记忆的增强和提升。
以上主要是探讨了对人工智能进行哲学研究的方法，记忆研究相比认知哲学更具宽广度和可能性。对于人工智能而言，认知哲学仅仅局限在AI的认知功能上，而记忆研究则不同。一方面，记忆是哲学的古老问题，具有本体意义，只是被认识论-知识论的传统完全遮蔽，我们以往的研究已经揭示出记忆并不是认知的附属物，也不仅仅表现为相比认知略低一等的心灵能力，而是有着更为重要的本体论地位：记忆作为三种条件形式存在：认知与情感的基础条件、理解人类自身的历史条件和实现自我和他者认同的条件；另一方面，人工智能的发展越来越显示出记忆因素内在的不可或缺性，记忆在人工智能的认知活动、功能呈现、行为表达和结构形成中表现出其特有的作用来，而这些都有待于进一步的深入研究。正如张跋院士指出的，脑科学中有记忆机制，值得设计AI系统的人员去注意和学习。
本文系国家社会科学基金重大项目“智能革命与人类深度科技化前景的哲学研究”（17ZDA028）阶段性成果；中科院项目“大数据的伦理问题及其社会治理”阶段性成果。
怎样让人工智能产生记忆
人工智能要形成长期记忆，还需要脑科学、神经科学、心理学和行为经济学等多学科的交叉研究。
记住一些东西并能回忆起来，对于人类来说是与生俱来的能力。记忆可以让我们回忆过往之事，并基于此对未来做出决策。能否让AI智能体也做到这点呢？近日，谷歌旗下人工智能企业“深层思维”（DeepMind）提出一种方法，能够让智能体使用特定的记忆来信任过去的行为，并对未来做出正确的决策。相关成果发表于最新一期的《自然·通讯》上。
那么，目前我们让AI产生的记忆和人类的记忆是一回事吗？人工智能可以用什么方法产生记忆？与以往相比，此次“深层思维”提出的新方法有何不同？在赋予人工智能记忆方面，我们尚需做哪些努力？
四种方法让AI产生“记忆”
记忆是我们对过去的经历进行编码、存储、回忆等的能力。一般而言，可以将其视为利用过去的经验来影响当前行为的能力。它使人类能够学习以前的经验并与现在的实践建立联系。
生活中那些感动我们的人或事往往会触发回忆，也就是我们通常所说的触景生情。“人类的长期记忆实际上是呈现多模态、场景化特征的，即一个记忆事件在存储时包含多个维度，触发某个维度就可以快速找到线索并进行回忆。”远望智库人工智能事业部部长、图灵机器人首席战略官谭茗洲在接受科技日报记者采访时表示，但人们往往高估了记忆量，其实我们的记忆容量很有限，所以人类记忆本身是高度抽象的，在记忆时我们通常选择对事件进行特征提炼，其中有好多要素只是概况并且是模糊的。如回忆电影，我们不会精准地回忆一帧一帧的完整成像，但如果类似场景再现，我们就会回想起之前的一幕。
在以往的研究中，采用什么方法可以让AI产生回忆？
谭茗洲介绍说，比较常用的有四种方法：第一种是长短期记忆网络。它是由一个被嵌入到网络中的显性记忆单元组成，功能是记住较长周期的信息。这一技术主要被谷歌、亚马逊和微软等公司用于语言识别、智能助手等。第二种方式是弹性权重巩固算法。这种算法主要用于序列学习多种游戏。“深层思维”采用的就是这种与记忆巩固有关的算法，目的是让机器学习、记住并能够提取信息。第三种方法是可微分神经计算机，这种计算机的特点是将神经网络与记忆系统联系起来，并像传统计算机一样存储信息，还可从例子中进行学习。第四种方法是连续神经网络，主要用于迷宫学习，解决复杂的连续性任务，同时可以迁移知识。
解决长期信用分配问题是关键
那目前，AI产生的记忆与人类的记忆是一回事吗？谭茗洲答道：“目前AI的记忆仍只是停留在将学习所获得的信息进行编码、存储，进而转化为认知的过程。以前的做法只是让AI将所发生的一切悉数存储，然而记忆与存储是有区别的，记忆是为了能够有效回忆。人类回忆的方式，往往是跨各种阈界的，如通过某个品牌忽然想起某个事。因此，要让AI智能体对过去所发生的一些事情，判断该不该记忆，关键要采取一些方法令其做出评定，达到人类回忆的效果。”
要让AI能够实现回忆过去的事情，涉及到长期信用分配问题：即如何评估行为在长期行为序列中的效用。但人工智能现有的信度分配方法无法解决行为与结果之间存在长时间延迟的任务。
据介绍，人工智能的研究中，在一个长序列内评估个人行为的效用问题，被称为信用分配问题。该评估可以对过去的行动或计划的未来行动进行评分。
谭茗洲解释道：“具体在强化学习中，智能体获得指导的唯一途径是通过奖励，而奖励通常是稀疏和延迟的。当智能体得到奖励时，很难知道哪些行为应该被信任，哪些该被责备，这就是信用分配问题。”
此外，谭茗洲介绍道，想让AI像人类那样产生回忆，首先需要让AI学会情景记忆以及自传式记忆。AI之所以很难做到这点，是因为情景记忆和自传式记忆有着非常强的个体体验特性。情景记忆与自传式记忆一旦和当事人割裂开来，就失去了生命力，对于机器而言，这很难想像。毕竟对于机器而言，精神可以独立于物质存在，体验可以独立于主体存在。此外还要防止机器可能出现的灾难性遗忘。认知心理学研究表明，人类自然认知系统的遗忘并不需要完全抹除先前的信息。但是对于机器而言，遗忘就是灾难性的，即需要抹除先前的信息。
与人类复杂记忆相比仍是初级阶段
据谭茗洲介绍，此次“深层思维”提出将范例建立在深入的强化学习基础上，并引入长期信用分配的原则。首先，智能体需编码并存储感知和事件记忆；然后，智能体需通过识别和访问过去事件的记忆来预测未来的回报；再有，智能体需根据其对未来奖励的贡献来重新评估这些过去的事件。这样可让智能体使用特定的记忆来信任过去的行为，并对未来做出正确的决策。
为了做到这一点，“深层思维”论文显示，其做的首要工作是形式化任务结构，主要包括两种类型的任务。具体而言，在第一种信息获取任务中：一阶段，智能体需在无即时奖励情况下探索一个环境来获取信息；二阶段，智能体在很长一段时间内从事一项不相关的干扰任务，并获得许多附带奖励；三阶段，智能体需利用一阶段中得到的信息获取远端奖励。
在第二种因果任务中：一阶段，智能体需采取行动触发仅具有长期因果关系的某事件；二阶段，同样是一个干扰任务；三阶段，为了取得成功，智能体需利用一阶段活动引起的环境变化来获得成功。
而在研究这种结构的完整任务之前，研究人员考虑让智能体实现一个更简单的被动过程的任务——“被动视觉匹配”，即智能体不用采取任何主动措施去采集信息，如同一个人在街上走路，不经意间就观察到某些信息一样。
“深层思维”的论文呈现一个打游戏过程中的简单场景，并让AI智能体对探索过的路径及攻略进行记忆，当然与人类复杂的记忆机制相比，还是相当初期的阶段。
谭茗洲强调，正如论文所述，新方法的范式拓宽了AI研究的范畴。这是一个有趣的话题，涉及人脑科学的研究，以及神经科学、心理学和行为经济学等多学科交叉研究的尝试，今后还有很长的路要走，需要更多开放性的探索。
延伸阅读
目前人工智能系统还不具备长期记忆
人脑从功能的角度可分为几个模块：寄存器、短期记忆、长期记忆、中央控制模块。人脑通过五种传感器，视觉、触觉等，从外部接受信息，存在寄存器，如果我们的注意力关注这些信息，大脑可以把这些信息变成短期记忆里的内容，短期记忆可以持续30秒左右，如果我们有意识要记住这些内容的话，大脑又会将短期记忆的内容转到长期记忆中。
长期记忆的内容既有信息，也有知识。简单地说，信息表示的是世界的事实，知识表示的是人们对世界的理解，两者之间并不一定有明确的界线。人在长期记忆里存储信息和知识时，新的内容和已有的内容联系到一起，规模不断增大，这就是长期记忆的特点。长期记忆实际上存在于大脑皮层，在大脑皮层，记忆意味着改变脑细胞之间的链接，构建新的链路，形成新的网络模式。
我们可以认为，现在的人工智能系统是没有长期记忆的。无论是阿尔法狗，还是自动驾驶汽车，都是重复使用已经学习好的模型或者已经被人工定义好的模型，不具备不断获取信息和知识，并把新的信息与知识加入到系统中的机制。
有学者认为，具有长期记忆将使人工智能系统演进到一个更高的阶段。畅想5—10年后，有可能构建这样的智能系统，在这个系统中，有语言处理模块，包括短期记忆、长期记忆，系统能自己不断去读取数据，能把数据里面的知识做压缩后放到长期记忆模块。构建拥有长期记忆的智能问答系统，正是我们现在的愿景。