史上最强模型GPT
整理|苏宓出品|CSDN(ID:CSDNnews)平地一声雷,GPT-4重磅来袭。
3月14日,OpenAI正式上线新一代人工智能大模型GPT-4,它是一个大型多模态模型,可以接受图像和文本输入,同时返回文本输出。就像这样:
用户:这幅画有什么好笑的地方?逐一描述它的板块。
图片来源:https://www.reddit.com/r/hmmm/comments/ubab5v/hmmm/
GPT-4:图片显示的是一个"LightningCable"适配器的包装,有三个板块:
板块1:一部智能手机,VGA连接器(通常用于电脑显示器的大型蓝色15针连接器)插在其充电端口。
板块2:"LightningCable"适配器的包装上有一张VGA接口的图片。
板块3:VGA连接器的特写,末端是一个小的Lightning连接器(用于为iPhone和其他苹果设备充电)。
这张图片的幽默感来自于将一个大的、过时的VGA连接器插入一个小的、现代的智能手机充电端口的荒谬性。
不得不说,一个示例足以证明了GPT-4与过往大模型的不同之处,是不是很强大?
与此同时,微软宣布BingChat一直在GPT-4上运行。
当前,OpenAI计划通过ChatGPT及其商业API发布GPT-4的文本功能,但是想要直接用上,还需要先加入一波等待名单(https://openai.com/waitlist/gpt-4-api)耐心等候。不过,ChatGPTPlus用户倒是可以直接上手GPT-4的体验:https://chat.openai.com/chat
GPT-4 惊喜上线
虽然此前OpenAI首席技术官MiraMurati不断给大家打预防针,希望外界能够对下一代GPT(即GPT-4)的技术水平更加冷静务实一些,少一些炒作会更好些,但是当GPT-4真正到来时,大家还是坐不住了。
“我们花了6个月的时间,利用对抗性测试项目以及ChatGPT的经验,反复调整GPT-4,结果在真实性、可操作性以及拒绝超出道德等边界方面取得了有史以来最好的结果(尽管远非完美)”,OpenAI分享道。
GPT-4:可以达到应试者的前10%水平、一张草图生成网站
为让众人更加清楚地了解 GPT-4,OpenAI官方不仅上线了介绍性的网页(https://openai.com/research/gpt-4),还发布了一篇技术论文(https://cdn.openai.com/papers/gpt-4.pdf),详细分享了GPT-4强大的功能,以及其存在的局限性。
从技术维度上来看,GPT-4是一个基于Transformer的模型,经过预训练,可以预测文档中的下一个token。这个项目的一个核心部分是开发了基础设施和优化方法。这使OpenAI能够根据不超过GPT-4的1/1000的计算量训练的模型,准确地预测GPT-4的某些方面的性能。
也正如昨天 CSDN报道的,微软的Azure与OpenAI共同设计了一台超级计算机,搭载了英伟达上万颗A100芯片。基于这台超算,OpenAI在一年前将GPT-3.5作为系统的第一次“测试运行”进行了训练,在修复一些Bug并提高理论基础之上,OpenAI基于此又训练出了首个能够提前准确预测其训练性能的大模型GPT-4。
更长的上下文,上限为 2.5万个字
在性能上,GPT-4超越了过往的模型,它可以遵循自然语言的复杂指令、生成技术或创意作品,支持生成和处理多达32,768个token(约25,000字的文本),这使得GPT-4能有更长的上下文,允许长篇内容创建、扩展对话以及文档搜索和分析等用例。
GPT-4可以直接上一个好大学
在分析GPT-4的能力时,OpenAI还让该模型参加了统一律师考试、法学院入学考试(LSAT)、研究生入学考试(GRE)的定量、口头推理、分析写作考试以及和各种AP科目考试等测试。
考试问题包括选择题和自由解答题,OpenAI为每种形式设计了单独的提示,并在需要输入的问题中加入了图片。总分是通过结合选择题和自由回答题的分数来确定的,使用的是每个考试的公开方法。
最终结果如下:
GPT-4在大多数这些专业和学术考试中表现与人类水平相当。这意味着,如果GPT-4是一个仅凭应试能力来判断的人,它可以进入法学院,而且很可能也能进入许多大学。
多模态能力,通过视觉输入看世界
正如文章开头示例展现的一样,GPT-4可以接受图像作为输入并生成标题、分类和分析。这意味着GPT-4实际上将看到现实世界,为此,OpenAI也宣布正在和它的合作伙伴BeMyEyes一起测试GPT-4的图像输入能力,这是一款即将推出的智能手机应用程序,可以直观地解释手机相机所看到的内容。不过,该功能目前仍限于研究预览,没有公开提供。超越传统的大模型
在一套传统的NLP基准测试中,GPT-4超过了以前的大型语言模型和大多数最先进的系统(这些系统通常有特定的基准训练或手工工程)。
在MMLU(多任务语言理解)基准测试中,GPT-4不仅在英语中以相当大的优势胜过现有的模型,而且在其他语言中也表现出强大的性能。在MMLU的翻译变体上,GPT-4的性能优于GPT-3.5和其他LLM(Chinchilla,PaLM)的英语性能,包括低资源语言,如拉脱维亚语、威尔士语和斯瓦希里语。
生成代码、改Bug的最佳小能手
除此之外,OpenAI通过开源评估框架(Eval,https://github.com/openai/evals),用于自动评估AI模型性能的框架,允许任何人报告模型中的缺点,以帮助指导进一步改进。
与此同时,GPT-4对代码有超强的理解能力,可以帮助程序员生成代码,遇上Bug时,甚至只要你把错误信息或者代码异常的截图发给GPT-4,它就能帮你给出相应的提示。
只需几秒,一张手画草图,GPT-4直接帮你生成网页
更让人惊奇的是,在官方演示的视频中,手绘一张网站草图:
把它拍照发给GPT-4,GPT-4甚至可以自动生成网站的原型图。它从图片中提取文字信息并输出到HTML,一个网站就有了,整个过程只有几秒钟的时间:
另外,GPT-4也能处理复杂的税务问题。
一系列操作下来,惊呆众人。在上手体验之后,不少网友现身说法:
我不在乎它不是AGI,GPT-4是一项令人难以置信的变革性技术。我在60秒内重新创建了Pong游戏。这是我的第一次尝试。
据悉,所有的代码都是HTML实现的。
甚至有人看到了GPT-4的强大,开始暗戳戳地暗示起GPT-5的模样:
不足之处
OpenAI表示,他们的目标是开发能够在任何智力任务方面取代人类的AGI,尽管GPT-4还没有达到这个目标。
尽管有这样的能力,GPT-4与早期的GPT模型有类似的局限性:它不是完全可靠的,比如,它也会对事实产生“幻觉”,推理出错误的结果。
对此,OpenAI首席执行官SamAltman在推特上说:"它(GPT-4)仍然有缺陷,仍然有局限性,但它在首次使用时仍然能给你留下深刻印象。"
在使用GPT-4的输出时,应该小心谨慎,特别是在专业性要求非常高的重要场景中。
微软:新Bing早用上了GPT-4
这也是事实,GPT-4远非完美。不过根据OpenAI的说法,研究人员纳入了更多的人类反馈,包括ChatGPT用户提交的反馈,用来改善GPT-4的行为。此外,OpenAI公司还聘请了50名人类专家,在人工智能安全方面提供反馈。
如今微软同时宣布自家产品早已第一时间用上了GPT-4。"我们很高兴地确认,新的Bing正在GPT-4上运行,为搜索而定制,"微软在一篇博客文章中写道。"如果你在过去六周的任何时候使用过预览版的新Bing,你已经提前看到了OpenAI的最新模型的力量。随着OpenAI对GPT-4及以后的更新,Bing从这些改进中受益,以确保我们的用户拥有最全面的副驾驶功能。"
压力给到国外的Google,国内的百度
虽然上周OpenAI早已预告过GPT-4会在本周到来,但是真正到来时,还是让很多人猝不及防。而之所以选择此时发布,似乎也是为微软将在3月16号的AI最新进展做一定的铺垫,这样微软可以在明天轻松开上一场发布会了。不过,处于同赛道的其他玩家可能得连夜加班了。
这不,就在这一天,GoogleCEO皮查伊亲自下场官宣开放预训练大模型(PaLM,https://www.datalearner.com/ai-models/pretrained-models/PaLM)的API商业接口,这是Google在2022年4月发布的自然语言预训练大模型,最高参数为5400亿。
与此同时,百度早在此前便宣布将会在3月16日带来文心一言,最终成果不可避免地会与最新的GPT-4一较高下,究竟会如何,我们也将在明天揭晓。
参考资料:
https://openai.com/research/gpt-4
https://www.youtube.com/watch?v=outcGtbnMuQ