7月最受欢迎AI研究榜单出炉,马毅最新「标准模型」排名第9

 2022-08-03 01:30:17    21  

编辑:Joey

【新智元导读】近日,有Reddit网友整理了一份七月最受欢迎的AI研究榜单,快来看看都有哪些重量级研究~

七月最受欢迎的AI研究榜单出炉啦!

这份由Reddit网友@bycloudai整理的榜单,根据推特点赞、转发和Github星数排序,列入了2022年七月排名前十的AI研究,其中包括DeepMind、Google、MIT CSAIL等知名机构。

下面一起来看看上榜的都是何方大佬~

TOP1: Formal Algorithms for Transformers

作者:Mary Phuong,Marcus Hutter

机构:DeepMind

摘要:本文旨在成为一个独立的、数学上精确的Transformer架构和算法概述。它涵盖了Transformer是什么、它们是如何训练的、它们的用途、它们的关键架构组件以及最突出的模型的预览。

Top2:Confident Adaptive Language Modeling

作者:Tal Schuster, Adam Fisch, Jai Gupta, Mostafa Dehghani, Dara Bahri, Vinh Q Tran, Yi Tay, Donald Metzler

机构:谷歌,MIT CSAIL

摘要:基于Transformer 的大型语言模型 (LLM) 的最新进展已推动许多任务的性能显著提高。然而性能提升的同时模型的大小也在急剧增加,这可能导致推理过程复杂以及成本增加。然而在实践中,大型语言模型产生的一系列迭代是由不同程度的难度组成的。

在这项工作中,我们介绍了 Confident Adaptive Language Model-ing (CALM),这是一个动态分配不同数量的计算机输入和生成时长的框架。

早期退出解码涉及我们在这里解决的几个问题,例如:(1)使用什么置信度度量;(2) 将序列级约束与本地token的退出决策联系起来;(3) 回溯由于先前token提前退出而丢失的隐藏表示。通过对三种不同文本生成任务的理论分析和实验,我们证明了我们的框架在减少计算方面的功效——潜在加速高达3倍,同时可保持高性能。

Top3:Language Models (Mostly) Know What They Know

作者:Saurav Kadavath, Tom Conerly, Amanda Askell, Tom Henighan等

机构:Anthropic

摘要:本文研究了语言模型是否可以评估自己主张的有效性并预测他们将能够正确回答哪些问题。我们首先表明,当以正确的格式提供较大的模型时,它们可以很好地针对各种多项选择和真/假问题进行校准。因此,我们可以通过要求模型首先提出答案,然后评估其答案正确的概率P(True)来对开放式抽样任务进行自我评估。

我们发现 P(True) 在各种任务中的性能、校准和缩放都令人兴奋。当我们允许模型在预测一种特定可能性的有效性之前考虑许多自己的样本时,自我评估的性能会进一步提高。接下来,我们研究是否可以训练模型来预测P(IK),即「我知道问题的答案」的概率,而不参考任何特定的建议答案。

Top4:YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time objectdetectors

作者:Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao

机构:Institute of Information Science, Academia Sinica

Top5:Language Model Cascades

作者:David Dohan, Winnie Xu, Aitor Lewkowycz等

机构:谷歌

Top6:Collaborative Neural Rendering using AnimeCharacter Sheets

作者:Zuzeng Lin, Ailin Huang, Zhewei Huang等

机构:武汉大学,旷视科技

Top7:Neural Networks and the Chomsky Hierarchy

作者:Grégoire Delétang, Anian Ruoss, Jordi Grau-Moya, Tim Genewein等

机构:DeepMind

Top8:Language modelling with Pixels

作者:Phillip Rust, Jonas F. Lotz, Emanuele Bugliarello等

机构:哥本哈根大学,约翰霍普金斯大学,乌普萨拉大学

Top9: On the Principles of Parsimony and Self-Consistencyfor the Emergence of Intelligence

作者:马毅,曹颖,沈向洋

机构:加利福尼亚大学伯克利分校,粤港澳大湾区数字经济研究院

这篇论文是马毅教授联手计算机科学家沈向洋博士、神经科学家曹颖教授发表的一篇对人工智能出现及发展的研究综述,堪称对近70年来AI发展的提纲挈领之作。

Top10:Scaling Laws vs Model Architectures:How does Inductive Bias Influence Scaling

作者:Yi Tay, Mostafa Dehghani, Samira Abnar

机构:谷歌,DeepMind

看完了Top10的各方大佬的论文,再来说说这次榜单有趣的几个细节。

众所周知,推特点赞是可以用机器人刷的,作者用点赞数作为榜单的关键指标确实有待商榷。

另外,此前呼声极高的「无限视觉生成模型NUWA-Infinity」在推特点赞数方面只排在第12位,但Github星数已超过2.4k。

由于NUWA Infinity早在2021年11月就发布了首个版本,而本次榜单只计入了之后的第二版的点赞数,因此只排在第12位。

参考资料:https://www.reddit.com/user/cloud_weather/

  •  标签:  
相关推荐
7月最受欢迎AI研究榜单出炉,马毅最新「标准模型」排名第9科技数码

总有人说,影像系统是手机的二把手。生动的色彩,写实的自然,让摄影者心旷神怡,让观众美不胜收。当手机遇上影像大厂,会碰撞出怎样的火花,在影像方面又将会有怎样的黑科技呢,现在就来盘点一下三款影像联名手机——一加10 Pro、vivo X80 Pro、OPPO Find X5 Pro。 一加10 Pro 比起猛堆硬件所提升的画质,色彩的打磨更能彰显手机影像的实力。一加10 Pro,不仅带来了不少有趣的拍照玩法,还将经典的哈苏影像运用其中,别有一番色彩滋味在心头。 首先来看看主摄,一加10 Pro的

2022-08-12  0
7月最受欢迎AI研究榜单出炉,马毅最新「标准模型」排名第9科技数码

【手机中国导购】现在,人手一机已经成为普遍现象,手机在我们日常生活扮演着不可或缺的角色。如今手机更新换代特别快,混迹数码圈的人可以明显感受到智能手机市场近年来的变化。今年的旗舰手机市场竞争尤为激烈,各手机厂商铆足了劲推出新机,每款产品都有着不错的竞争力。当手机硬件配置极其相似,性能又都还不错的时候,很多人在选购手机时就开始犯难了。一加Ace Pro每个人都有不同的用机需求,在选购手机时,在意的方面也不一样。对于爱玩游戏的用户来说,在意的是手机性能以及游戏体验;对于爱拍照记录生活的用户来说,在意的

2022-08-12  0
7月最受欢迎AI研究榜单出炉,马毅最新「标准模型」排名第9科技数码

一年半前,小米首款折叠屏 MIX Fold 正式发布,在主流厂商的折叠屏手机中,这款产品拥有着当时最低的售价 ——9999 元,即便在当时这已经小米最贵的一款手机,但 MIX Fold 仍秉承着性价比这一产品理念,凭一己之力将折叠屏手机价格拉到了万元之下,首销日更是拿下了一分钟狂销 4 个亿的傲人战绩。不过,或许是当时小米太急于发布折叠屏产品,首代的 MIX Fold 除了价格优势之外,似乎并没有太多能令人印象深刻的优势,反而狭长如遥控器的外屏,成为了消费者对这款产品最大的记忆点,后劲不足的劣势

2022-08-12  2
7月最受欢迎AI研究榜单出炉,马毅最新「标准模型」排名第9科技数码

本报讯(记者 孙军 通讯员黄建勇)有的学生负责硬件设备的连接与定位,有的学生负责设备脚本的规划……这是发生在青岛中小学人工智能课堂上的一幕。自2019年青岛市中小学启动人工智能教育以来,按照“普及、拓展、培优”三维目标,推动人工智能与教育教学的深度融合。截至目前,已有1000所中小学开设人工智能课程,并成立人工智能社团,与信息学奥赛等“强基计划”结合,培养人工智能领域后备人才。兴趣是人工智能课程学习的原动力。在青岛枣山小学人工智能实验室,教师王炜正在讲授“智能采摘”,学生在编程平台的积木实验室中

2022-08-12  3
7月最受欢迎AI研究榜单出炉,马毅最新「标准模型」排名第9科技数码

人工智能专业的热度非常高,也是新兴专业,但是对专业能力要求很高,未来是科技发展的时代,国家也在高度重视这个领域的发展,目前此领域专业人才稀缺,人工智能专业从长远来说就业前景是非常不错的。人工智能专业发展前景非常好,但是对人才的要求也非常高提到人工智能,许多人都觉得这是一个高大上的行业,其实在我们身边使用非常广泛,我们在享受人工智能给我们带来的便利生活的时候,这些技术运用都需要人工智能专业的人才来实现。人工智能专业是最近这些年才开设的新兴学科,它是属于电子信息类的专业,但是要学习计算机和电子信息工

2022-08-12  5

原文链接:https://www.tscy18.com/kejism/24472.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 315661083@qq.com 举报,一经查实,本站将立刻删除。