人工智能趋势——2023 年综述
摘要
随着DALL·E2于2022年4月的宣布，关于2022年初第三个AI冬天——或AI撞墙——的预言过时得很快而且效果不佳，随后出现了更多主要由扩散模型驱动的文本到图像应用程序，这是一个非常多产的领域用于计算机视觉研究及其他领域。AI的2022年定义为强劲的上升趋势。
此外，大型语言模型被证明是一个更加肥沃的领域，有几篇论文显着扩展了它们的能力：检索增强、思维链提示、数学推理、推理自举。语言模型研究远未结束。它仍然在发展！
今年年的重磅炸弹无疑是OpenAI的ChatGPT，它再次重新定义了对LLM的期望，并巩固了OpenAI作为LLM即服务的全球领导者的地位。正如我们将看到的，到2023年，这可能会对整个技术领域产生连锁反应，因为与OpenAI建立了牢固合作伙伴关系的微软可能会利用它来改进他们的主流产品，包括Bing和Office。
现在让我们来看看AI的几个关键领域：它们目前所处的位置以及我们预计它们在2023年的发展方向。
社区
长期以来，Twitter一直是AI研究人员公开分享和讨论其工作的最大在线空间。但埃隆·马斯克臭名昭著的收购该公司已将其置于摇摇欲坠的境地。日益增长的不稳定因素、不可预测的政策变化以及马斯克的分裂政治立场导致人们强烈要求转移到Mastodon等其他地方。目前，大部分行动仍在bluebird网站上进行，出于政治原因一夜之间全面撤离的可能性仍然不大，但我们不能完全排除明年公司出现某种形式崩溃的可能性。
深度学习社区的另一个战场是框架。PyTorch的采用率已经超过TensorFlow几年了，它是Autograd和神经网络最受喜爱和使用的框架。2023年，PyTorchv2.0将发布，其主要功能是编译器和加速。甚至谷歌也没有押注TensorFlow的卷土重来，而JAX/FLAX生态系统——已经是谷歌大脑和许多其他研究人员的最爱——仍然不够成熟，无法成为主流。
最后，行业和学术界的鸿沟继续扩大，因为(1)大型科技公司拥有更多可用的计算资源，以及(2)当前的许多轰动一时的研究都依赖于数十名世界级工程师的密切合作，而这些工程师是无法获得的普通博士生。这意味着学术研究正在转向更好地检查、理解和扩展现有模型，以及设计新的基准和理论进步。
语言模型
如果一年前LLM已经是AI领域的主角，那么现在的情况更接近于独白。萨顿的惨痛教训像美酒一样陈年。有了ChatGPT，LLM成为了主流——甚至我的非AI非技术朋友都在问这个问题——我们预计2023年将是这项技术真正普及的一年。微软——已经在考虑将其在OpenAI中的股份扩大到49%——而谷歌不想错过，所以这将是一场巨头的冲突。
规模。在过去的几年里，模型在参数方面几乎没有增长——这与许多公开的AI讨论相反！现有最好的可用密集LLM仍处于200B参数范围内，因为它们未得到优化，并且在该范围内仍有许多有待发现和改进的地方。然而，我们预计今年情况会有所改变，(1)谷歌公开使用他们的FLAN模型系列，以及(2)如果克服所有优化挑战，OpenAI和竞争者将通过备受期待的GPT-4进入万亿级参数计数.由于成本原因，这些可能不会为大部分LLM即服务提供支持，但将成为下一个成为头条新闻的旗舰技术。优化。静态文本数据训练的时代已经结束。当前的LLM不仅仅是大型语言模型，它们的优化包括策划的、交互式的和连续的数据/文本以及代码等形式语言。我们期望在LLM优化方面取得进展，利用更复杂的RL环境（例如LLM作为代理），LLM在正式环境循环中训练以学习更好的符号操作（例如Minervav2），LLM生成更多和越来越好的数据来训练他们自己，以及在适度硬件上廉价运行的模型上提炼更多性能的方法，导致每个FLOP在LLM即服务的经济学中都很重要。语言模型的进步将继续渗透到其他人工智能领域，如计算机视觉、信息检索和强化学习（正如2022年已经发生的那样）。代码+大型语言模型。GitHubCopilot已经推出一年多了，它正在慢慢改变人们编写代码的方式。谷歌在2022年初分享了其3%的代码已经由LLM编写，我们预计代码完成LLM会变得更好，慢慢改变人们编写代码的方式。强化学习和机器人
可以说，RL在去年从基本面来看并没有取得实质性进展。相反，进步是由越来越复杂的代理的应用构成的，这些代理结合了计算机视觉、文本、语言模型、数据管理……例如CICERO、视频预训练(VPT)、MineDojo或GATO。很大程度上受成功扩大模仿学习或离线RL的推动，只需少量使用古老的在线RL代理-环境-奖励循环。我们期望开发更多的多模态复杂代理，这些代理可以在不完整的信息下采取行动，利用基于大型神经网络和大型预训练数据的模块化组件。
到2023年，我们预计LLM和RL之间的共生关系将进一步发展：在RL环境中训练LLM，并将LLM用作RL代理的一部分（例如，作为政策的规划者，强先验）。
最后，Zero-fewshot和极高的效率将是机器人在现实世界中互动的关键，我们期待ML模块化（只需插入预训练模块的能力）、few-shot能力和因果表示的趋势学习在2023年在这方面提供帮助。但是，如果在传统RL在计算机上解决极端样本效率之前在该领域取得重大突破，我们会感到惊讶。
计算机视觉
扩散模型和文本到图像是2022CV的明星。我们对通过生成图像可以实现什么的看法与我们一年前的想法大不相同。然而，图像理解远未解决。让我们更接近的关键是什么？
因果表征学习（通常与以对象为中心的表示学习相关）是一个不断增长的兴趣领域，它研究元素之间因果关系的学习，超出了它们的统计相关性。阻碍进步的一个关键因素是缺乏强大的标准化基准测试，我们预计2023年将带来CV基准文化的转变，将重点转移到域外泛化、稳健性和效率上，而不是域内图像分类、跟踪、分割……更多的多模式模型将文本、音频和动作与视觉相结合，就像我们在VideoPretrainingTransformerMineDojo中看到的那样。扩散模型接管了生成文本到图像的人工智能，并被用于其他应用，如分子对接和药物设计。生成视频和3D场景是并将成为这些应用程序的下一个自然步骤，但我们预计连贯的长视频生成需要更长的时间。对高频数据（标记/图像）建模比收集大规模低频数据（例如新颖的叙事结构）更难。没有足够的静态数据来通过蛮力解决这个问题，因此需要更好的大型模型优化技术。##信息检索最后，是我们心中的话题。在过去几年中，神经IR的最大问题是将学术基准的成功——BM25经常被打败——转化为现实世界的设置和广泛采用。发生这种情况的关键：
不需要人工相关注释。这已经是IR在2022年取得最大进展的方面之一，提出了InPars（使用LM生成注释）、LaPraDor（无监督对比学习）等建议。方便。当前的模型可能在基准测试中表现良好，但它们不仅仅有效。我们期望在神经IR模型的整个开发生命周期中提高便利性，从而提高采用率。对话式人工智能。检索增强语言模型和ChatGPT等强大的模型最近重新引起了人们对该领域的兴趣，因为许多人现在看到了真正的可行性。虽然标准化评估仍然具有挑战性，但我们预计人们对该领域的兴趣会增加。除了研究之外，2023年可能是消费者网络搜索领域发生颠覆的一年，并且只是人们对搜索引擎的期望发生了范式转变。微软与OpenAI的合作以及最近ChatGPT的巨大成功让许多人猜测Bing有可能发生180°转变，采用由有效语言模型提供支持的真正复杂的网络规模问答。谷歌现在看到其主要业务受到挑战，今年可能是谷歌需要加强其游戏的混乱之年。总结
最后，强调一些与研究相关性较低但仍然是人工智能在未来内如何发展的关键的问题：
在硬件方面，Nvidia在AI芯片上的垄断地位仍未动摇，只有奇迹才能在短期内改变这一局面。关于HuggingFace被谷歌收购并与他们的GCP和TPU紧密集成以进行托管的传言可能会增加TPU硬件的使用，但这听起来仍然不太可能。
欧洲人工智能法案——迄今为止最雄心勃勃、最全面的监管工作——继续取得进展，目前的估计表明它最早可能在2023年底生效。我们希望其他大型经济体能够注意到并效仿它发生在GDPR中，以确保在AI使用方面保护个人权利。
当前的大型技术放缓将如何影响人工智能研究——尤其是在短期行业融资方面。虽然我们希望我们在过去12个月中看到的强劲进展将转化为该领域的整体乐观情绪，但不能排除放缓的可能性。
探索人工智能在教育领域的应用和未来前景
人工智能（AI）技术正日益渗透进入不同行业，其中教育领域也不例外。从提供更加个性化的学习体验到帮助学生更好地消化学习内容，AI正在改变教育方式、教学方法，以及教师和学生的角色。那么，人工智能在教育领域的应用和未来前景有什么呢？
应用：个性化学习人工智能技术可以帮助学生实现个性化学习，即根据学生的特征、需求、学习习惯，以及其它方面的综合因素，进行个性化学习计划的制定。举个例子，在一些在线学习平台上，学生可以通过系统进行自我诊断测试，从而系统可以根据测试结果来推荐相关课程，以帮助学生获得最好的学习效果。根据国际教育科技公司Knewton的报告，每个学生都可以通过个性化的教学方式提高30%的学习效果。
智能辅导人工智能技术可以为学生提供智能化辅导，包括多媒体教学、语音控制、智能问答等学习方式。例如，在学术搜索引擎GoogleScholar中，学生可以获得更为精准地搜索结果，根据主题，作者，文献类型等手段快速搜索到相关文献。此外，一些学习平台和应用程序已经开始使用人工智能机器人来与学生交互，帮助学生更有效地学习。机器人可以评估学生的情感状态，并提供相应的建议。
智能教学智能教学系统利用人工智能技术可以为教师提供相关知识和教育技巧，以缩短教师的课程开发时间和课堂准备时间。此外，这些系统可以通过为教学过程提供反馈和评估，来提高教育的质量。例如，在一些教学视频制作软件中，教师可以利用人工智能技术来实现语音转换为文字、语音识别等功能，以提高教学效果和教学体验。
资源管理人工智能还能帮助学校合理安排教学资源。例如，一些高校使用人工智能技术来安排教师和教室，以确保资源的最大利用。还有一些具有预测能力的资源管理系统可以帮助学校预测学生的需求，从而更好的满足学生的需求。
未来前景：自动化监测测试自动化监测测试是基于人工智能技术的自适应学习，可以为学生提供更准确的评估测试和反馈，同时，还可以更好地了解学生不同主题/课程的思维模式、价值观习惯等。
智能预测学习智能预测学习方法可以根据每个学生的行为和学习内容的选择模式，预测出学生的未来行为。这种技术可以帮助学生更有效地选择适合自己的学习内容，提高学习效率，以及帮助教师更好地了解学生的学习需求，调整教学内容和方法。
智慧课堂智慧课堂是基于人工智能技术的教学体验，包括智能化的交互式教学、课程设计和评估。智能化教学可以帮助教师更好地分析学生数据、了解学生的学习需求和兴趣，以及优化教学策略和课程设置。
虚拟现实教学虚拟现实教学是一种基于人工智能技术的教学方法，可以帮助学生更加深入地理解和体验课程内容。例如，在生物学、历史、地理等课程中，可以使用虚拟现实技术将学生带到更深入的探索之旅，使学习更加有趣、生动。
总结：人工智能技术正在改变教育领域，让我们的学习变得更加高效、个性化、有趣。从个性化学习、智能辅导，到智能教学、资源管理，人工智能的应用已经融入到了教育的方方面面。而未来，在自动化监测测试、智能预测学习、智慧课堂、虚拟现实教学等方面，人工智能也将会发挥更加重要的作用。尽管人工智能在教育领域的应用仍然存在一些挑战，但是，我们有理由相信，随着技术的不断发展和应用，人工智能将为教育领域带来更多创新，提升学习体验和学习效果，推动教育的运作和发展。