AI正在模仿人类大脑！2023年10篇顶会论文：大脑也在「无监督」学习
神经科学会成为人工智能「超进化」的关键吗？
在深度学习和深度神经网络火遍天下的今天，离不开对大脑的研究。
虽然我们还未探究清楚大脑如何工作，但这样的大脑结构确实可以产生「智能」。
只要模拟它，神经网络就可以获得相似或相同的智能。真正能够学习人类的矩阵或许就在不远处。
近日，神经科学家PatrickMineault就2021年无监督学习的大脑模型做了总结回顾。
神经人工智能（neuro-AI）研究中最有说服力的发现之一是，训练人工神经网络执行匹配大脑中单个神经元和集合信号的相关任务。
一个典型的例子就是腹侧流（ventralstream），DNNs在ImageNet上训练进行对象识别。
监督和任务优化网络连接两个重要的解释形式:生态相关性和神经活动可解释性。
「Whatcan5.17billionregressionfitstellusaboutartificialmodelsofthehumanvisualsystem?」这篇论文便回答了大脑区域是用来做什么这一问题。
然而，正如JessThompson指出的那样，这不是唯一的解释形式。
特别是，任务优化网络通常在生物学上被认为是不合理的，因为传统的ImageNet训练会使用1M图像。
即便是为了让婴儿识别一项任务，他们必须每5秒接受一个新的监督标签，例如父母指着一只鸭子对孩子说「鸭子」，每天3小时，持续一年以上。
那对于非人类的灵长类动物和老鼠又是怎样的一种情况？因此，寻找与人类大脑相匹配的生物学上相似的神经网络研究仍在继续。
JessThompson的神经人工智能假说空间自监督训练方法有哪些
今年，我们已经看到无监督训练方面取得很大进展，逐渐替代了自监督训练的一些方法。
自监督训练的一些方法如下:
·无监督学习旨在表示数据分布。该领域最常用的技术之一是变分自编码器（VAE）。
·自监督训练旨在通过解决代理任务来找到良好的数据表示。如今，语言模型几乎普遍使用自监督训练，比如BERT和GPT-3。
·对比学习是自监督学习的一种特殊形式，其代理任务是预测样本是来自正面还是负面（或干扰项）。对比学习有很多不同的风格：MoCo、InfoNCE、SimCLR、CPC等。也有一些密切相关的非对比方法可以消除负样本，包括BYOL和BarlowTwins。
·多模态学习是自监督训练的另一种特殊形式，其目的是通过预测两种不同的模态（如视觉、文本、音频等）的共同子空间，或者预测一个模态共同的子空间。CLIP便是一个典型的例子。
所有这些方法都允许我们在不需要监督情况下学习表示。其实，自监督和无监督方法相结合比只使用监督方法在生物学上更合理。
就此，Mineault回顾了今年MAIN、NeurIPS、CCN会议，以及其他预印本，并做出了一份关于无监督学习的大脑模型总结。
Unsupervisedneuralnetworkmodelsoftheventralvisualstream
这篇论文刚刚发表在PNAS顶刊上，引用量已超过60。
论文地址：https://www.pnas.org/content/118/3/e2014196118
作者发现，无监督和自监督方法学习的表征与腹侧流（V1，V4，IT）神经元实现方式一致。论文摘要指出:
灵长类动物显示出非凡的识别能力。这种能力是通过腹侧视觉流实现的，腹侧流是多个等级相互关联的大脑区域。这些领域最好的定量模型是经过人工标记训练的深层神经网络。
然而，这些模型需要比婴儿接收到更多的标记，使他们无法实现腹侧流发展模式。
最近，在无监督学习取得的进展在很大程度上弥补了这一差距。我们发现，用最新的无监督学习的神经网络在腹侧流中获得的预测精度等于或超过当今最好的模型。
这些结果说明了使用无监督学习来建立大脑系统的模型，并为感官学习计算理论提供了一个强有力的备选方案。
特别是，作者发现SimCLR和其他对比学习方法几乎可以像监督学习方法一样解释腹侧神经元。
训练模型时标签不是必要的，这篇论文是一个非常强有力的证明。
Beyondcategory-supervision:
Computationalsupportfordomain-generalpressuresguidinghumanvisualsystemrepresentation
论文地址：https://www.biorxiv.org/content/10.1101/2020.06.15.153247v3
KonkleandAlvarez在论文提出了一个与Zhuang等人论文类似的问题:
腹侧信息流是否可以由一个不经过监督式学习训练的网络来解释？他们使用功能磁共振成像而不是单个神经元的记录来评估这一点。他们发现结果与Zhuang的文章大体一致，并且有着自己独特的实例——对比自我监督，以及其他类似的解释fMRI数据的结果。
Yourheadistheretomoveyouaround:Goal-drivenmodelsoftheprimatedorsalpathway
这篇论文便是由神经科学家PatrickMineault撰写，已在2021NeurIPS发表。
正如作者之前所讨论的，腹侧神经元对形状是有选择性的。然而，视觉皮层输出的讯息会传送到两个渠道，一个是腹侧流，另一个便是背侧流，这是怎么回事？作者通过比较许多自监督的3D网络和不同的背侧流区域，发现它们不能解释非人灵长类动物单个神经元的反应。
论文地址：https://your-head-is-there-to-move-you-around.netlify.app/
因此，Mineault草拟了一个代理任务，世界上有生命的生物必须根据落在它的视网膜上的图像模式来确定它自身运动的参数。
由此产生的网络看起来很像背侧流，这在定性和定量上都是真实的。目前，该模型的训练是有监督的，但从智能体的角度来看，它是自监督的多模态学习:智能体从另一个模态（视觉）中学习预测其自运动的参数（前庭，传出拷贝），这在生物学上可能是合理的。
视觉皮层的功能
视觉皮层的功能特殊化于通过自我监督的预测学习训练有着异曲同工之妙。
项目主页：https://ventral-dorsal-model.netlify.app/
Bakhtiari等人2021年的两篇论文都获得了NeurIPSspotlights。
Bakhtiari认为无论是人类、非人灵长类还是老鼠，哺乳动物的视觉单元都有背侧和腹侧流。
那么，用人工神经网络能解释这两者吗？
Shahab通过在电影片段上训练对比预测编码（CPC）网络，发现如果神经网络包含两条独立的平行路径，神经网络会自发地形成背侧和腹侧流。
背侧流路径与小鼠背侧区域匹配良好，而腹侧流与小鼠腹侧流匹配良好。
另一方面，经过监督训练的网络，或者只有一条通路的网络，就无法与老鼠的大脑相匹配。
浅层无监督模型
研究人员最近发现浅层无监督模型最能预测小鼠视觉皮层的神经反应。
论文地址：https://www.biorxiv.org/content/10.1101/2021.06.16.448730v2.full.pdf
Nayebi等人2021年的论文表示深层神经网络是受灵长类动物的视觉皮层启发而开发的伟大模型，但对老鼠来说就不那么适用了。
他们使用老鼠的视觉皮层数据（静态图像），并将其与不同架构的监督和自我监督网络进行比较。
一个有趣的发现是，具有平行分支的浅层网络能更好地解释老鼠视觉皮层的数据。这证实了Shahab的发现。
Nayebi团队提出的论点是，老鼠的视觉大脑是一个浅层的「通用」视觉机器，面对各种任务都能胜任，不像人类大脑中的深层神经网络，只对某一个任务特别精通。
Conwell团队在NeurIPS2021发表了另一篇关于小鼠视觉皮层自我监督学习的论文，并得出了与前两篇论文一致的结论。
论文地址：https://proceedings.neurips.cc/paper/2021/file/2c29d89cc56cdb191c60db2f0bae796b-Paper.pdf
超越人类
Geirhos等人在NeurIPS2021的论文表明，人类非常擅长在失真情况（例如噪声、对比度变化、旋转等）下对图像进行分类。
论文地址：https://arxiv.org/pdf/2106.07411.pdf
在这篇论文中，他们发现，新的自我监督和多模态模型在进行图像分类任务时，鲁棒性已经和人类不相上下。
其背后的一个重要因素是训练网络用了多少数据：用更多数据训练的模型更鲁棒。
那是因为新模型对纹理不太敏感，而对形状更敏感，这也就意味着它们似乎走了更少的捷径。当然，新模型仍然会犯明显的错误。
多模态神经网络
论文地址：https://openreview.net/pdf?id=6dymbuga7nL
Choksi团队在2021年SVHRM研讨会上提出，人类大脑的海马体包含多模态的「概念细胞」(例如詹妮弗·安妮斯顿细胞)，它们会对概念或图像的文本表示做出反应。
有趣的是，CLIP也是这样做的。
事实上在这篇论文中，作者利用公开的功能磁共振成像数据表明，多模态网络，包括CLIP，最能解释大脑海马体的数据。
无监督深度学习
Storrs等人发表在《NatureHumanBehaviour》的论文介绍了他们使用无监督学习预测人类对光泽的感知。
他们在一组纹理上训练pixel-VAE，并寻找pixel-VAE与人类感知物体表面的方式的相似之处。他们发现，VAE很自然地将不同的纹理组成因素进行解耦，这一点非常符合人类的感知方式。
此外，他们发现经过监督学习的网络在这项任务上的表现反而不尽如人意。
论文地址：https://www.nature.com/articles/s41562-021-01097-6.pdf
今年，研究人员在将无监督和自监督模型与大脑匹配方面取得了巨大进步。它们可以更好地匹配大脑数据，还可以在没有标签的情况下进行训练。
自监督为没有人工标签的学习打开了大门，但最新的模型经常需要大量的数据来进行训练。例如，GPT-3基本上学习了人类积累的所有文本（大约5000亿个token）。
相比之下，在最健谈的家庭里，孩子五岁时也就会接触到约3000万个单词。
所以，即使GPT-3是一种看似合理的语言习得和表征机制，但与人类大脑相比，效率仍然相差4个数量级。
PS：作者还在更新哦！
作者介绍
PatrickMineault是一名独立神经科学家，此前，曾在Facebook担任BCI工程师，还有谷歌的软件工程师和数据科学家。
个人主页：https://xcorr.net/about/目前，他联合创办了NeuromatchAcademy这家公司，并担任CTO一职。
Mineault曾在McGill获得了视觉神经科学博士学位，并在UCLA完成了博士后。在Facebook工作那段时间，他曾构建了一个BCI，能够通过大脑实现打字。
LeCun和JeffDean就PatrickMineault对过去一年无监督大脑模型的研究回顾进行了点评。
「Nice！但是BYOL、BarlowTwins和VICReg是用于训练联合嵌入架构的「非对比」方法。」
谷歌大牛JeffDean表示，这是2021年关于神经科学无监督学习和自监督学习一些非常棒的工作。
人工智能：每秒10亿次运算，威力何在
0分享至全球信息景观目前充斥着危言耸听的预测人工智能(AI)带来的危险。亿万富翁企业家和他们的雇佣者，他们曾经对新兴的人工智能赞不绝口“技术乌托邦”，突然变成了世界末日。作为叙事今日特色的有意识的人工智能最终可能会背叛它的创造者。但是除了虚构的线索之外，这种说法有什么优点吗终结者特许经营？回答这个问题的一个方法是将人工智能与现有的模拟技术进行比较有感情的，也就是——人类的大脑。人工智能不仅被设计来模仿人类的思维，而且在某些方面超越了人类的思维。除了呈现一个根本性的变化，AI的效用并不完全是革命性的。相反，它是过去和现在创新的延续——轮子、曲柄和风车，以克服我们边缘的局限性；弓箭和导弹来对抗远程威胁；和互联网来解决(全球)通信中的时空限制。根据英国《金融时报》的一篇著名文章雾滴,“据推测，人脑的运算速度为每秒1亿次，相当于每秒10亿次运算”。请注意，这只是一个假定–可能通过计算指标定义的猜测。在写的时候，边疆，世界的最快的超级计算机据报道，其运算速度为1.102万亿次。然而，大脑和超级计算机的区别在于性质和功能:一个在思考，另一个在分析数据。我们已经发明了超级计算机来处理数字，但是我们的科学家仍然被人类计算器.夏琨塔拉·戴维在马戏团环境中长大的是一个典型的例子。我们复杂的机器介导的模型仍然不能完全理解大脑是如何工作的，除了当执行计算任务时，流向特定脑叶的血液会出现非典型增加这一事实。其余的是一个分散的研究、假设和数据的平面，还没有调和成一个可理解的整体。关于人脑有太多未知的东西。这可能就是为什么科学界随便把它的主要功能分为八或者12主要类别。感知力在这些类别中的位置仍然是一个悬而未决的问题。也许，这是所有这些因素相互作用的结果。或者也许，人类有一个有知觉的灵魂，使他们以一种其他物种无法达到的方式创新？也许，与AI设备和算法不同，大脑是软件和硬件合二为一的？太多的不确定性依然存在。如果神经科学是一个充满无数问题和空白的不成熟领域，那么它更简单的子集——人工智能呢？人类发明的一项胚胎技术能突然焕发生机，威胁人类吗？如果我们不能完全理解人类大脑是如何工作的，甚至不能定义感知，为什么我们要从科幻电影中剪切和粘贴情节到我们的现实中？有一种假设的可能性，即人工智能确实在一个狭窄的范围内构成了真正的威胁。糟糕的软件设计、仓促的开发过程和算法不匹配的更新等等，都会导致各种灾难性的情况。这些事件涉及化工厂或核电站、股票市场或实验性自动驾驶汽车。但是，一个不祥的、有感知能力的人工智能的前景完全是一个想象的命题。当前流行的人工智能危言耸听实际上可能是源于一些更腐败和更实际的东西。因为最终反抗主人的可能不是机器，而是数亿——也许是数十亿——工人，他们将在这个十年结束前被人工智能取代。这个话题本身就值得一个专门的评论，人类大脑为人工智能构成的假设存在威胁提供了一个现实检查。nm.org资源提供以下内容小片关于我们的思维器官及其处理能力:一粒沙子大小的大脑组织片段包含10万个神经元和10亿个突触。大脑可以产生大约23瓦的能量——足够点亮一个灯泡。信息传播速度高达每小时268英里，而其存储容量被认为几乎是无限的。研究表明，人类大脑由大约860亿个神经元组成。每个神经元形成与其他神经元的连接，这可以增加到1千万亿(1，000万亿)个连接。难怪赞美诗作者欣喜若狂的事实，他是“可怕而奇妙的制造”在“他母亲的子宫”。任何时候一秒钟大脑协调自身和人体内令人眼花缭乱的各种功能，以维持有机的和谐。它还可以在身体受到破坏时迅速补偿身体内的任何偏离，即在一条腿受损后将平衡转移到另一条腿，或在出血时激活止血。因此，人体是终极的复杂适应系统(中科院)。虽然身体的CAS功能过于庞大和技术性，无法在此一一列举，但有一些关于大脑如何设法保护其宿主的世俗例子。当你有一个“讨厌的人”在一个令人烦恼的社会环境这是你的大脑通过你的身体发出指令，寻找最近的出口，从而避免更严重的情况。当你遭受滚雪球般的智力迟钝或抑郁时，这可能是大脑警告你避开假新闻和谣言的方式傻瓜兜售它们的人虽然大脑产生23瓦的功率，但前沿超级计算机消耗的功率高达21兆瓦。一兆瓦是一百万瓦。单单能源因素就是科学家们将生物计算作为下一个伟大的技术前沿的原因。在此之前，我们需要忍受在相对简单的情况下仍然无法与人脑匹配的硬件和软件。我经常用下面的流量例子来演示人脑和AI的对比能力。两辆车正朝着相反的方向驶近一个狭窄的阻塞点。外面下着大雨，刮着大风。汽车A的速度是汽车B的两倍，但是到阻塞点的距离是前者的两倍。两位司机都意识到，在正常情况下，B车应该加速驶出狭窄的车道。然而，B车前面有一大滩水，暗示下面有危险的坑洞。两位司机本能地意识到，A车最好先离开阻塞点，从而为B车腾出相邻车道的空间，以避开水坑。这就是所谓的情境意识。大脑不费吹灰之力就能处理这样的复杂问题——一秒接一秒！现在，用自动驾驶系统取代司机，想象一下完成类似任务所需的能量和技术基础设施的规模？这些汽车需要GPS导航和天气更新，卫星和5G连接，以及一系列传感器。卫星导航可能会在暴风雨中失灵。那么这些“智能”车辆应该做些什么呢？原地不动，停止交通？还是寻找一条迅速变得泥泞的路缘？我们人类的触觉会知道何时加速离开湿滑的环境，但自动驾驶汽车需要一系列令人震惊的硬件和算法来应对。现在，想象一下由自动驾驶系统操作的十亿辆汽车。这种基础设施的能源和计算能力将如何产生？俗话说死亡之星够了，尽管是为了我们的集体利益？也许，这就是让AI危言耸听者夜不能寐的谜题？他们设想的人工智能技术乌托邦无法支持全球10亿人口，更不用说我们目前拥有的80亿人口了。事实上，根据著名的技术预言家所说尤瓦尔·诺亚·哈拉里，的“21世纪的重大政治和经济问题将是我们需要人类做什么，或者至少我们需要这么多人类做什么”。现在，如果这还不能让你感到一种存在主义的寒意，我不知道还有什么能。特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice:Thecontentabove(includingthepicturesandvideosifany)isuploadedandpostedbyauserofNetEaseHao,whichisasocialmediaplatformandonlyprovidesinformationstorageservices.
/阅读下一篇/返回网易首页下载网易新闻客户端