人工智能趋势——2023 年综述
摘要
随着DALL·E2于2022年4月的宣布，关于2022年初第三个AI冬天——或AI撞墙——的预言过时得很快而且效果不佳，随后出现了更多主要由扩散模型驱动的文本到图像应用程序，这是一个非常多产的领域用于计算机视觉研究及其他领域。AI的2022年定义为强劲的上升趋势。
此外，大型语言模型被证明是一个更加肥沃的领域，有几篇论文显着扩展了它们的能力：检索增强、思维链提示、数学推理、推理自举。语言模型研究远未结束。它仍然在发展！
今年年的重磅炸弹无疑是OpenAI的ChatGPT，它再次重新定义了对LLM的期望，并巩固了OpenAI作为LLM即服务的全球领导者的地位。正如我们将看到的，到2023年，这可能会对整个技术领域产生连锁反应，因为与OpenAI建立了牢固合作伙伴关系的微软可能会利用它来改进他们的主流产品，包括Bing和Office。
现在让我们来看看AI的几个关键领域：它们目前所处的位置以及我们预计它们在2023年的发展方向。
社区
长期以来，Twitter一直是AI研究人员公开分享和讨论其工作的最大在线空间。但埃隆·马斯克臭名昭著的收购该公司已将其置于摇摇欲坠的境地。日益增长的不稳定因素、不可预测的政策变化以及马斯克的分裂政治立场导致人们强烈要求转移到Mastodon等其他地方。目前，大部分行动仍在bluebird网站上进行，出于政治原因一夜之间全面撤离的可能性仍然不大，但我们不能完全排除明年公司出现某种形式崩溃的可能性。
深度学习社区的另一个战场是框架。PyTorch的采用率已经超过TensorFlow几年了，它是Autograd和神经网络最受喜爱和使用的框架。2023年，PyTorchv2.0将发布，其主要功能是编译器和加速。甚至谷歌也没有押注TensorFlow的卷土重来，而JAX/FLAX生态系统——已经是谷歌大脑和许多其他研究人员的最爱——仍然不够成熟，无法成为主流。
最后，行业和学术界的鸿沟继续扩大，因为(1)大型科技公司拥有更多可用的计算资源，以及(2)当前的许多轰动一时的研究都依赖于数十名世界级工程师的密切合作，而这些工程师是无法获得的普通博士生。这意味着学术研究正在转向更好地检查、理解和扩展现有模型，以及设计新的基准和理论进步。
语言模型
如果一年前LLM已经是AI领域的主角，那么现在的情况更接近于独白。萨顿的惨痛教训像美酒一样陈年。有了ChatGPT，LLM成为了主流——甚至我的非AI非技术朋友都在问这个问题——我们预计2023年将是这项技术真正普及的一年。微软——已经在考虑将其在OpenAI中的股份扩大到49%——而谷歌不想错过，所以这将是一场巨头的冲突。
规模。在过去的几年里，模型在参数方面几乎没有增长——这与许多公开的AI讨论相反！现有最好的可用密集LLM仍处于200B参数范围内，因为它们未得到优化，并且在该范围内仍有许多有待发现和改进的地方。然而，我们预计今年情况会有所改变，(1)谷歌公开使用他们的FLAN模型系列，以及(2)如果克服所有优化挑战，OpenAI和竞争者将通过备受期待的GPT-4进入万亿级参数计数.由于成本原因，这些可能不会为大部分LLM即服务提供支持，但将成为下一个成为头条新闻的旗舰技术。优化。静态文本数据训练的时代已经结束。当前的LLM不仅仅是大型语言模型，它们的优化包括策划的、交互式的和连续的数据/文本以及代码等形式语言。我们期望在LLM优化方面取得进展，利用更复杂的RL环境（例如LLM作为代理），LLM在正式环境循环中训练以学习更好的符号操作（例如Minervav2），LLM生成更多和越来越好的数据来训练他们自己，以及在适度硬件上廉价运行的模型上提炼更多性能的方法，导致每个FLOP在LLM即服务的经济学中都很重要。语言模型的进步将继续渗透到其他人工智能领域，如计算机视觉、信息检索和强化学习（正如2022年已经发生的那样）。代码+大型语言模型。GitHubCopilot已经推出一年多了，它正在慢慢改变人们编写代码的方式。谷歌在2022年初分享了其3%的代码已经由LLM编写，我们预计代码完成LLM会变得更好，慢慢改变人们编写代码的方式。强化学习和机器人
可以说，RL在去年从基本面来看并没有取得实质性进展。相反，进步是由越来越复杂的代理的应用构成的，这些代理结合了计算机视觉、文本、语言模型、数据管理……例如CICERO、视频预训练(VPT)、MineDojo或GATO。很大程度上受成功扩大模仿学习或离线RL的推动，只需少量使用古老的在线RL代理-环境-奖励循环。我们期望开发更多的多模态复杂代理，这些代理可以在不完整的信息下采取行动，利用基于大型神经网络和大型预训练数据的模块化组件。
到2023年，我们预计LLM和RL之间的共生关系将进一步发展：在RL环境中训练LLM，并将LLM用作RL代理的一部分（例如，作为政策的规划者，强先验）。
最后，Zero-fewshot和极高的效率将是机器人在现实世界中互动的关键，我们期待ML模块化（只需插入预训练模块的能力）、few-shot能力和因果表示的趋势学习在2023年在这方面提供帮助。但是，如果在传统RL在计算机上解决极端样本效率之前在该领域取得重大突破，我们会感到惊讶。
计算机视觉
扩散模型和文本到图像是2022CV的明星。我们对通过生成图像可以实现什么的看法与我们一年前的想法大不相同。然而，图像理解远未解决。让我们更接近的关键是什么？
因果表征学习（通常与以对象为中心的表示学习相关）是一个不断增长的兴趣领域，它研究元素之间因果关系的学习，超出了它们的统计相关性。阻碍进步的一个关键因素是缺乏强大的标准化基准测试，我们预计2023年将带来CV基准文化的转变，将重点转移到域外泛化、稳健性和效率上，而不是域内图像分类、跟踪、分割……更多的多模式模型将文本、音频和动作与视觉相结合，就像我们在VideoPretrainingTransformerMineDojo中看到的那样。扩散模型接管了生成文本到图像的人工智能，并被用于其他应用，如分子对接和药物设计。生成视频和3D场景是并将成为这些应用程序的下一个自然步骤，但我们预计连贯的长视频生成需要更长的时间。对高频数据（标记/图像）建模比收集大规模低频数据（例如新颖的叙事结构）更难。没有足够的静态数据来通过蛮力解决这个问题，因此需要更好的大型模型优化技术。##信息检索最后，是我们心中的话题。在过去几年中，神经IR的最大问题是将学术基准的成功——BM25经常被打败——转化为现实世界的设置和广泛采用。发生这种情况的关键：
不需要人工相关注释。这已经是IR在2022年取得最大进展的方面之一，提出了InPars（使用LM生成注释）、LaPraDor（无监督对比学习）等建议。方便。当前的模型可能在基准测试中表现良好，但它们不仅仅有效。我们期望在神经IR模型的整个开发生命周期中提高便利性，从而提高采用率。对话式人工智能。检索增强语言模型和ChatGPT等强大的模型最近重新引起了人们对该领域的兴趣，因为许多人现在看到了真正的可行性。虽然标准化评估仍然具有挑战性，但我们预计人们对该领域的兴趣会增加。除了研究之外，2023年可能是消费者网络搜索领域发生颠覆的一年，并且只是人们对搜索引擎的期望发生了范式转变。微软与OpenAI的合作以及最近ChatGPT的巨大成功让许多人猜测Bing有可能发生180°转变，采用由有效语言模型提供支持的真正复杂的网络规模问答。谷歌现在看到其主要业务受到挑战，今年可能是谷歌需要加强其游戏的混乱之年。总结
最后，强调一些与研究相关性较低但仍然是人工智能在未来内如何发展的关键的问题：
在硬件方面，Nvidia在AI芯片上的垄断地位仍未动摇，只有奇迹才能在短期内改变这一局面。关于HuggingFace被谷歌收购并与他们的GCP和TPU紧密集成以进行托管的传言可能会增加TPU硬件的使用，但这听起来仍然不太可能。
欧洲人工智能法案——迄今为止最雄心勃勃、最全面的监管工作——继续取得进展，目前的估计表明它最早可能在2023年底生效。我们希望其他大型经济体能够注意到并效仿它发生在GDPR中，以确保在AI使用方面保护个人权利。
当前的大型技术放缓将如何影响人工智能研究——尤其是在短期行业融资方面。虽然我们希望我们在过去12个月中看到的强劲进展将转化为该领域的整体乐观情绪，但不能排除放缓的可能性。
人工智能重大突破：2025年AI将在医学领域创造1778亿的市场机会！
在今年以来的医疗领域中，ChatGPT这一现象级应用正在如火如荼地发展，推动了“AI+医疗”领域的发展。最近，因美纳（ILMN.US）这一全球领先的基因测序公司，宣布推出了全新的AI算法PrimateAI-3D，它可以高度准确地预测患者的致病基因突变。因美纳的首席技术官AlexAravanis表示，最新的AI技术应用于基因组学领域，能够揭示复杂的遗传疾病底层信息，比如糖尿病、心脏病和自身免疫性疾病等，PrimateAI-3D的推出为因美纳在遗传风险预测和药物靶点发现方面创造了巨大的机遇。PrimateAI-3D将集成在因美纳的互联软件中，适用于基因组学领域的广泛应用。
事实上，近年来人工智能在医药领域中被大量应用。据数据统计，近五年时间内，医疗人工智能市场融资规模已经达到了近千亿，展现出蓬勃发展的势头。根据IDC最新的数据，到2025年，人工智能应用市场规模将达到1270亿美元，其中医疗行业将占市场总值的五分之一。换句话说，AI应用市场规模将在2025年达到1778亿元。
说了这么多，那么AI到底能够在医疗领域中起到什么作用呢？业内认为，在医疗领域中，AI的应用主要分为AI影像诊断、院内信息化系统、医疗助理、医疗机器人和AI新药研发。
一、AI影像诊断
医学影像诊断一直是医疗领域的一个重要环节，但马丁内兹-贾尔达（Martinez-Moreno）和她的研究小组发现，有40％的影像诊断结果存在误诊。因此，将人工智能应用于医学影像诊断可以提高精度和准确性。通过将成千上万的影像数据进行训练，人工智能可以识别和分类病变，提供更快，准确和详细的报告。此外，AI技术还可以通过对患者的影像数据进行分析，为医生提供更加精准的治疗方案和预后评估。
二、院内信息化系统
医院管理涉及许多方面，包括医疗记录、患者登记、医疗调度和药品发放等。传统上，这些任务由医院的工作人员手动处理。然而，这种处理方式的成本非常高，且容易出现错误。人工智能可以在这些领域帮助实现自动化，减少人力成本。例如，医疗记录可以通过语音识别技术转换为数字记录，提高医疗记录的准确性和完整性。
三、医疗助理
人工智能可以为医生和护士提供帮助，为患者提供更好的医疗服务。例如，机器人术后监护系统可以监测患者的生命体征，并提醒医生和护士采取必要的措施。智能健康助手可以协助患者监控自己的健康状况，提醒他们服药和就诊，改善患者的治疗结果。
四、医疗机器人
医疗机器人可以在手术中扮演重要角色。例如，机器人手臂可以进行高精度的操作，比人类更加准确和迅速。医疗机器人也可以在危险环境中代替医生和护士，例如在外科手术中处理血液。
五、AI新药研发
AI可以帮助加速新药发现和开发过程。Freenome公司使用机器学习技术来发现前列腺癌的新生物标志物。AbbVie公司使用人工智能来探索药物分子设计。这些技术都可以在短时间内发现更多的候选药物，减少研发成本和时间。
这五点里面，其实AI影像诊断是最为重要的。实际上，随着医疗领域中人工智能技术的不断应用，AI在医疗影像方面的应用范围日益扩大，主要体现在改善工作流程、提升疾病诊断精度、实现更好的健康管理和治疗等方面。
根据中华医学会放射学分会主任委员、中国医学影像AI产学研创新联盟理事长刘士远公布的最新数据，全国医学影像领域展开的一项人工智能调研结果显示，大型医院AI的使用率已经高达73%。此外，值得关注的是，我国目前已经获得了55张以上的NMPA注册证书，这表明我国在医学影像AI领域已经取得了很大的进展。照此情况发展下去，相信AI在医学领域的作用将会越来越大，对于国内医学的贡献也会是不可估量的。