AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

 2022-06-21 14:20:33    6  

金磊 梦晨 发自 凹非寺

量子位 | 公众号 QbitAI

搞事情!

AI“看”了一眼GitHub上人类都是怎么提交更新(commit)的,然后就模仿人类程序员修改代码……

最终,这个AI还成功“调教”出了个智能体机器人:

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

没开玩笑,这种细思极恐的事情,在OpenAI最新发布的一项研究中,就真真的发生了……

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

原本呢,研究人员要解决的是一个遗传程序设计(GP)问题——让一个智能体机器人学会移动。

(GP是演化计算中的一个特殊领域,它主要针对自动构建程序去独立解决问题。)

但OpenAI剑走偏锋,把自家的大规模语言模型(LLM)放了进来,结果就是一个大大的“万万没想到”。

以前在智能体演进的过程中,人类研究员是需要参与进来做一些细节调整、确定演进方向等工作,让智能体往好的方向发展。

现在好了,这些活儿都让大模型给包揽了,自己学自己写代码自己去“调教”

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

这事一经论文一作Joel Lehman在网络曝光,瞬间引发了网友们的大量关注:

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

一位程序员网友在看完后直呼“跟不上(技术)发展的步伐”了:

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

甚至OpenAI自己都在研究中说:

弥合了进化算法在人类思想水平运行的鸿沟。

那么这件“魔幻”的事情,AI到底是怎么办到的?

看一眼GitHub,AI自己动手敲代码

在虚拟环境中设计可移动的机器人,是遗传算法研究中很火的一个项目。

特别是Sodarace竞赛因为需要的计算量少,过程方便可视化很受欢迎。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

规则很简单,由“关节”和“肌肉”组成的机器人在各种地形上赛跑。

OpenAI还特意把整个竞赛程序从专用的遗传编码改写成了Python版本,为了展示新方法对现代编程语言的通用性。

比如这样一段Python代码,就可以作为初始种子机器人。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

定义好一个正方形的四个顶点关节、终点关节,相互之间都用“肌肉”连接好后,结果如下。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

不过这样方方正正的结构一动都不能动,接下来就需要靠遗传算法对代码做修改。

研究团队认为,用传统遗传算法修改代码VS人类程序员自己动手,在效率上还有两点差距:

一个是软件越来越复杂,人类可以搞模块化的代码复用来应对,而目前最先进的遗传算法也无法在人类使用的编程语言上做到这一点。

另一个是几乎所有遗传算法靠的都是随机突变(mutation),而人类程序员每一次修改代码都带有目的,或者是增加功能、或者是改进效率、又或者是修复bug。

那么有没有办法让AI学习到人类是如何修改代码的呢?

还真有,所需的训练数据都存在GitHub上。

优秀的程序员每次提交代码都会写好commit描述,说清楚这一次提交修改了什么内容。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

commit描述配合上提交前后代码对比的diff数据,就是AI绝佳的学习材料。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

研究人员筛选出一些描述意图明确、修改的代码量不大的提交数据来训练一个GPT-3架构的AI模型。

相当于让AI向人类程序员学习了如何有目的的修改一段代码。

这篇论文所用的模型也不需要完全版GPT-3的1750亿参数那么大,最高7.5亿参数就足以。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

由此得到了基础的AI模型,将在遗传算法中扮演变异算子的角色。

接下来让AI自己设计新机器人的流程总共分三步。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

第一步,先用经典的MAP-Elites算法生成一组初始机器人。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

这是一种QD(质量多样性)算法,可以保证机器人行为不同且质量都很高。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

第二步,用第一步产生的初始数据做预训练,让AI先学会设计出训练数据分布内的机器人。

也就是开头处那张在网上惊艳了众人的动图,展示了AI如何一步步把无法移动的“方块”改造成双腿交替弹跳移动机器人。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

第三步,再结合上强化学习算法做微调,让AI能根据不同地形条件生成能适应环境的机器人。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

最终,研究人员选取了从最初的三个种子进化而来的机器人做效果展示。

可以看出它们的结构和移动方式都完全不同。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

网友惊呼“思路清奇”

这项研究一经公布,可谓是一石激起千层浪。

许多网友都惊叹于这种“大模型+演进算法”结合的新奇方式:

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

做过与之相关工作的研究人员也表示,从未想过能用大模型以diffs的形式来学习突变:

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

而除了对研究形式和本身的讨论之外,也有网友配上了这样图:

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

Emmm……是有点那种味了。

团队介绍

这项研究的团队成员均来自OpenAI。

论文一作是Joel Lehman,是一位机器学习科学家。其聚焦的领域包括人工智能安全、强化学习和开放式搜索算法。

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

与此同时,Joel Lehman此前基于对人工智能发展的思考合写过一本科学读物《为什么伟大不能被计划出来:客观的秘密》:

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

而对于这项研究的下一步,Joel Lehman本人表示:

还有一个重要问题,就是模型能够多大程度上应用到其它环境中。

GP中的突变功效现在可以通过ELM大幅提高,这将激发出一系列广泛的新应用和研究方向。

那么这项研究是否也对你产生了新的启发呢?

欢迎在评论区留言讨论~

参考链接:

[1]https://arxiv.org/abs/2206.08896[2]https://twitter.com/joelbot3000/status/1538770905119150080?s=21&t=l8AASYjgC6RAEEimcQaFog

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

  •  标签:  
相关推荐
AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了科技数码

最近#年轻人不爱换手机#的话题再次登上热搜,在手机技术日新月异的今天,为什么年轻人不愿意买手机了呢?我之前就发表过我的观点,第一是手机单价并不便宜,很多年轻人觉得频繁换手机,钱包伤不起;第二手机更新迭代太快,性能严重溢出,手机几年不卡,导致没有换机欲望。当然,作为万千年轻群体中的一员,我也已经三年没换手机了,一直使用的是三年前买的荣耀20 Pro,这款麒麟980芯片的手机即使用到今天,它的体验也不算差,虽然流畅度和今天的旗舰U,高刷屏没法比,但整体体验并不会让人觉得难受。之前用了3年的荣耀20

2022-06-22  4
AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了科技数码

目前市面上有很多高性价比热门手机都集中在2~3K价位段,这也正好在大多数小伙伴购买手机的预算范围之内。今天就给大家推荐几款该价位段比较值得购买的热门手机。OPPO K10OPPO K10采用了今年比较流行的大视窗相机模组,且与后盖配色保持一致,既有辨识度又精致好看。正面配备了一块6.59英寸LCD 120Hz高刷变速屏,刷新率支持多档调节,既流畅又省电。拥有600nits峰值亮度,户外阳光下也能看得清。性能方面,OPPO K10搭载了天玑8000-Max处理器,拥有旗舰级别的强大性能,且功耗控制

2022-06-22  6
AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了科技数码

近期随着618临近,京东商城各类手机均有一些折扣活动,小编整理了目前在2000元价位最值得购买的手机推荐给大家。OPPO K10目前OPPO K10京东售价1889元,但现在下单可获赠耳机、机器人音箱一个。OPPO K10虽然不到2000元,但配置上却十分讲究。处理器方面这款产品使用联发科天玑8000-MAX芯片,8颗核心运行频率可以达到2.75GHz,足以应对《王者荣耀》这类游戏。此外,这款产品还配备了67W超级闪充以及5000mAh超大电池,这样的配置保障了户外续航和手机充电速度。另一方面O

2022-06-22  5
AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了科技数码

近日知名行业分析机构Strategy Analytics公布了2022年第一季度中国智能手机市场畅销榜前十的名单。iPhone 13不出意外地位居了榜首,下面带大家看看还有哪些机型上榜了吧。iPhone 13系列iPhone 13可以说是去年和现在都十分畅销的智能手机,A15+6.1英寸OLED屏幕的配置使其可以满足大部分用户的使用需求。iPhone 13 128GB版目前在京东自营平台领券到手价为5399元。iPhone13 Pro Max和iPhone13 Pro也均有上榜。荣耀50荣耀50

2022-06-22  5
AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了科技数码

人工智能是业务的一部分吗?或者它是一个实用程序?如果你是数字原生代,人工智能可能是业务运行的燃料的一部分。但在一个拥有传统业务或正在转型的大型组织中,如何衡量投资回报率是他们必须解决的一个基本问题。报道 | 吴昕与以往任何时候相比,现在各企业都对人工智能和机器学习的潜力充满信心并加以投入。根据 2022 年 IBM 全球人工智能采用指数(IBM Global AI Adoption Index 2022),35% 的公司报告称目前在其业务中使用人工智能,另有 42% 的公司表示他们正在探索人工智

2022-06-22  5

原文链接:https://www.tscy18.com/kejism/21283.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 315661083@qq.com 举报,一经查实,本站将立刻删除。