1750 亿个参数!Meta正式推出全新免费的大规模人工智能语言模型

 2022-05-06 15:21:09    18  

Meta 的人工智能实验室创建和推出了一个大规模的新语言模型,它同时具有 OpenAI 开创性的神经网络 GPT-3 的非凡能力和不可避免的缺陷。对于大型科技公司来说,这是一个前所未有的举动,现在 Meta 正把它交给研究人员,并且共同探讨该语言模型的构建和训练过程中的技术细节。

“我们坚信,让其他人参与仔细检查你的工作是我们研究工作的一个重要组成部分。我们真诚地邀请这种合作模式,”长期倡导技术发展透明度的乔尔·皮诺(Joelle Pineau)说,她现在是 Meta AI 的董事总经理。

Meta 的举动是第一次向感兴趣的研究人员提供一个经过充分训练的大型语言模型。这一消息受到了许多人的欢迎,他们原本担心小团队是很难闭门打造这种强大的技术的。

“我赞赏他们的透明度,”华盛顿大学的计算语言学家艾米丽·M·本德(Emily M. Bender)说道,她经常批评语言模型的发展和部署方式。

“这是一个伟大的举动,”Hugging Face 的首席科学家托马斯·沃尔夫(Thomas Wolf)说道。Hugging Face 是一个大科学背后的人工智能初创公司,这个项目在世界各地的 1000 多名志愿者正在合作开发一个开源语言模型。“越开放的模式越好,”他补充道。

大型语言模型,作为能够生成文本段落和模拟人类对话的强大程序,已经成为过去几年人工智能领域最热门的趋势之一。但它们本身具有很深的缺陷,例如散布错误的信息、偏见和有毒的语言。

理论上,让更多的人来参与解决这个问题应该会有所帮助。然而,由于语言模型需要大量的数据和计算能力来训练,迄今为止,它们仍然是大型科技公司的特有项目。而在更广泛的关注群体例如研究界,包括担心人工智能滥用的伦理学家和社会科学家,不得不只能旁观。

Meta 表示想将要改变这一点。“我们中的很多人都是大学的研究人员,”皮诺说。“我们知道大学和行业在建立这些模式的能力方面存在着明显的差距。让研究人员共同讨论这一技术的好处是显而易见的。”她希望其他人能仔细研究他们的工作,对其进行拆解分析,或者在此基础上构建。她说,当更多的人参与进来时,突破就会更快地实现。

Meta 正在制作名为 Open Pretrained Transformer (OPT)的语言模型,并且可用于非商业用途。它还发布了其代码和记录培训过程的日志。日志包含团队成员关于训练数据的每日更新:如何将其添加到模型中,以及何时、哪些有效、哪些无效。在 100 多页的笔记中,研究人员记录了从 2021 年 10 月到 2022 年 1 月不间断运行的为期三个月的培训过程中的每个错误、崩溃和重启。

OPT 语言模型中约有 1750 亿个参数(这些参数是神经网络中在训练过程中可以被调整的参数),与 GPT-3 的规模基本相同。皮诺说,这是经过精心设计的,因为该团队在建立 OPT 时就考虑在语言任务的准确性和有害性方面与 GPT-3 相匹配。OpenAI 已经将 GPT-3 作为一种付费服务给予提供,并没有共享模型本身或其代码。皮诺说,这个想法是为了给研究人员提供一个类似的语言模型来进行研究。

OpenAI 拒绝了对 Meta 的声明发表评论的邀请。

谷歌正在探索在其搜索产品中使用大型语言模型,但也因为缺乏透明度而受到批评。该公司在 2020 年曾引发争议,因为该公司在其 AI 道德团队的主要成员进行了一项突出显示该技术问题的研究后,将该成员驱逐出境。

文化冲突

1750 亿个参数!Meta正式推出全新免费的大规模人工智能语言模型

那么,Meta 为什么要这样做呢?毕竟Meta公司是一家很少提及脸书和 Instagram 背后的算法如何工作的公司,并曾以让其内部研究团队隐瞒其不利问题而闻名。Meta 采取不同方法的一个重要原因是皮诺本人,她多年来一直在推动人工智能研发过程中的透明度。

皮诺帮助建立起科研人员在几个最大的学术会议上发表研究的方式,引入了研究人员必须与结果一起提交的清单,包括代码和有关如何进行实验的详细信息。她自 2017 年加入 Meta(当时的Facebook)以来,一直在其人工智能实验室倡导这种文化。

“Meta 对开放科学的承诺是我为什么在这里的原因,”她说。“我不会因为其他条件来到这里工作。”

最终,皮诺想要改变人们判断人工智能的方式。“我们现在所研究的最先进的东西不能仅仅与性能有关,”她说。“就责任而言,它也必须是最先进的。”

尽管如此,开源其大型语言模型对于 Meta 来说是一个大胆的举措。“我不能告诉你,这种模型不会产生其他可怕的风险,”皮诺说。

权衡风险

玛格丽特·米切尔(Margaret Mitchell)是谷歌在 2020 年被迫离职的人工智能伦理研究人员之一,她现在在 Hugging Face 工作,她认为 OPT 的发布是一个积极的举措。但她认为透明度是有限度的。因为语言模型是否经过了足够严格的测试?可预见的好处是否超过了其可预见的危害?例如在这个过程中如何避免错误信息的产生,或种族主义和厌恶女性的语言?“

她说:“大型语言模型的发布对其可能有广泛受众使用它或受其输出影响的世界是有责任的。” 米切尔指出,该模型不仅能够自行生成有害内容,还可以通过研究人员在其之上构建的下游应用程序生成有害内容。

皮诺表示,Meta AI 审计了 OPT,以消除一些有害行为,但这个工作最关键的一点是发布一个可供研究人员从中学习的模型。

“有很多关于模型危险性的讨论,我们也知道这个模型在声誉方面存在着非零风险,在伤害方面也存在着非零风险,”她说。她驳斥了不应该发布模型的想法,仅仅是因为它太危险了——这就是 OpenAI 给出的不发布 GPT-3 的前身 GPT-2 的原因。“我理解这些模型的弱点,但这不是一种研究心态,”她说。

本德曾在谷歌中心与米切尔共同合作过相关研究,也担心着如何处理潜在的危害。“降低任何机器学习技术风险的真正关键是要在特定用例中进行评估和探索,”她说。“例如这个系统是用来做什么的?谁将使用它?系统输出将如何呈现给他们?”

一些研究人员因为它们有潜在的危害,所以质疑为什么要建立大型语言模型。而对于皮诺来说,这些担忧应该通过更多的公开讨论来解决,而不是减少沟通。“我相信建立信任的唯一方法是极度透明,”她说。

“世界各地的人们对于什么样的对话是合适的有不同的看法,而人工智能是对话的一部分,”她说。她不希望语言模型能说出令每个人都同意的话。“但我们该如何应对呢?那就是在讨论过程中多去听却他人的声音”她说。

-End-

参考:

https://www.technologyreview.com/2022/05/03/1051691/meta-ai-large-language-model-gpt3-ethics-huggingface-transparency/

1750 亿个参数!Meta正式推出全新免费的大规模人工智能语言模型
  •  标签:  
相关推荐
1750 亿个参数!Meta正式推出全新免费的大规模人工智能语言模型科技数码

不知道大家发现了没有,如今很多手机厂商旗下的机型分类都非常多,尤其是vivo,线下有X系列、Y系列以及S系列,线上更是通过iQOO系列进行冲击。然而从小米手机、红米手机的角度来看,却没有什么特别多的机型出现,尤其是红米redmi,几乎一直都在以数字系列、Note系列以及K系列主打市场。然而这些机型几乎每年都只会更新一次,所以对于当下手机市场来说,很难长时间维持热度,所以当上半年基本过去的时候,红米手机开始展开新的动作了。要知道,现如今的市场竞争很残酷,加上骁龙8+处理器也已经正式发布,这对于消费

2022-05-23  3
1750 亿个参数!Meta正式推出全新免费的大规模人工智能语言模型科技数码

本周第一代骁龙 8+ 移动平台正式发布,随后各大手机厂商纷纷官宣旗下产品将会跟进搭载。不过在一众厂商中,我们仍未能见到「珠海小厂」魅族的身影。同时与魅族 19 系列手机有关的消息也缺少爆料。不过在近日,魅族正式公开了旗下最新设计专利图,同时有数码博主爆料称,这很有可能就是魅族 19/19 Pro 两款手机的最终造型。此次曝光的魅族设计专利一共有两款机型,其中一款设计较为主流,小面积矩阵镜头模组位于左上方,根据开孔来看采用后置三摄或四摄方案,沿用了魅族标志性的环形闪光灯设计,镜组右侧有部分文字信息

2022-05-23  1
1750 亿个参数!Meta正式推出全新免费的大规模人工智能语言模型科技数码

原安徽科技学院副校长刘正教授(左)在玉米试验田为牛峰(右)颁发硕士研究生导师聘书。1987年高中毕业后,牛峰选择了回家务农,此后五年里他大胆探索、潜心研究推广10多项农业新技术,其中,他探讨的“淮北夏玉米品种及配套栽培技术模式”在阜阳地区示范推广,形成了一套新的高产模式。在1990-1991年,他带领农民联户组成400亩高产示范田,实现小麦、玉米吨粮大关,其中有50亩夏玉米攻关田,经省、地、县三级农业科技部门三次验收,平均亩产872公斤,并创亩产887公斤的高产记录。辛勤的汗水,换来了成功的喜悦

2022-05-23  2
1750 亿个参数!Meta正式推出全新免费的大规模人工智能语言模型科技数码

当你坐在舒适的座椅中,无须集中注意力在驾驶上,车辆将自动导航引领前进方向。四周掠过的景色是蔚蓝天空与金色沙滩呼应的阳光海岸,转眼间又变成了古老而神秘的中世纪建筑。虚拟现实带给我们无限的想象,而技术为人们的想象提供了栖息之所。据美国专利商标局 5 月份批准的一项专利,苹果这一虚拟现实(Virtual Reality,VR)车辆系统结合了无人驾驶,使用虚拟现实和增强现实(Augmented Reality,AR)以及传感器,使车辆系统与 VR 系统相结合以匹配 VR 的视觉效果,给乘客带来沉浸式的体

2022-05-23  2
1750 亿个参数!Meta正式推出全新免费的大规模人工智能语言模型科技数码

大洋网讯 21日下午,“科技强国 强国有我”2022年科技大篷车全国巡展发车仪式在广东科学中心举行。该活动由中宣部“学习强国”学习平台联合科大讯飞共同发起,未来4个月,这座载满20余项最新AI黑科技的“移动科普博物馆”将驶向十余个省级行政区上百个校园和科技馆,在青少年心中撒下科技的种子。科技种子撒向上百校园,愿青少年“追星就追科学家”100年前的5月,中国社会主义青年团第一次全国代表大会在广州召开,见证了中国青年的进步与觉醒。科技兴则民族兴,科技强则国家强。广东开近代中国科学风气之先,以广州为中

2022-05-23  1

原文链接:https://www.tscy18.com/kejism/15815.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 315661083@qq.com 举报,一经查实,本站将立刻删除。