解决AI“高分低能”,需要升级的是考核机制

 2022-06-14 10:20:15    12  

科技日报记者 华 凌

近日,有媒体报道,目前部分人工智能沉迷刷榜,在基准测试时高分通过,表现优异,但实际应用中却还会犯一些非常基础的错误。这种沉迷刷榜,忽略实用性质的行为造成了部分AI模型“高分低能”的现象。那么,对于AI发展而言,基准测试是否必要?在实际应用中,基准测试哪些问题有待改进完善呢?

AI模型哪家好,基准测试来说话

AI模型应该如何衡量其性能?

“目前AI模型能力的高低取决于数据,因为AI的本质是学习数据,输出算法模型。为了公平衡量AI能力,很多机构、企业甚至科学家会收集、设计不同的数据集,其中一部分喂给AI训练,得到AI模型,另外一部分数据用于考核AI模型的能力,这就是基准测试。”近日,西安电子科技大学电子工程学院教授吴家骥接受科技日报记者采访时表示。

吴家骥介绍说,机器学习越来越多地用于各种实际应用场景,例如图像和语音识别、自动驾驶汽车、医学诊断等。因此,了解其在实践中的行为和性能变得非常重要。其鲁棒性和不确定性的高质量估计对于许多功能至关重要,尤其是在深度学习领域。为掌握模型的行为,研究人员要根据目标任务的基线来衡量其性能。

2010年,基于ImageNet数据集的计算机视觉竞赛的推出,激发了深度学习领域一场算法与数据的革命。从此,基准测试成为衡量AI模型性能的一个重要手段。微软公司的计算机科学家马塞洛·里贝罗表示,基准测试应该是从业者工具箱中的一个工具,人们用基准来代替对于模型的理解,通过基准数据集来测试“模型的行为”。

例如,在自然语言处理领域,GLUE科研人员让AI模型在包含上千个句子的数据集上训练,并在9个任务上进行测试,来判断一个句子是否符合语法,并分析情感,或者判断两个句子之间是否是逻辑蕴涵等,一度难倒了AI模型。随后,科研人员提高了基准测试难度,一些任务要求AI模型不仅能够处理句子,还要处理来自维基百科或新闻网站的段落后回答阅读理解问题。仅经过1年的发展,AI模型的性能从不到70分轻松达到90分,超越了人类。

吴家骥表示:“科学研究要有科学问题、方法、计算、试验对比等要素。因此在进行科学研究,包括人工智能的科研中,也必须有计算与试验对比,也就是说AI算法的能力应该是可测量的,目的是验证研究方法的可行性、有效性。因此,基准测试很有必要,这样才可以公平验证AI算法能力的高低好坏,避免各说各话,‘王婆卖瓜自卖自夸’。”

算法最终服务实践,而非刷榜

有人说,高分是AI模型的兴奋剂。于是,有的人工智能为了取得好成绩而频频刷榜。

微软公司2020年发布报告指出,包括微软、谷歌和亚马逊在内的各种sota模型包含诸多隐含错误,比如把句子里的“what's”改成“what is”,模型的输出结果就会截然不同,而在此前,从没有人意识到这些曾被评价还不错的商业模型竟会在应用中如此糟糕。显然,这样训练出的AI模型就像一个只会考试、成绩优异的学生,可以成功通过科学家设置的各种基准测试,却不懂为什么。

“为了获得好成绩,研究人员可能会使用特殊的软硬件设置对模型进行调整和处理,让AI在测试中表现出色,但这些性能在现实世界中却无法施展。”西安电子科技大学研究员尚坤指出。

在智能手机领域,我们谈及手机的使用体验时一般都不免会涉及手机的性能表现,这些性能通常会用跑分成绩来表现。然而,我们常常会遇到一款手机的跑分成绩处于排行榜领先水平,但是在实际使用过程中却出现动画掉帧、页面滑动卡顿、应用假死等的现象。全球顶级评测网站AnandTech的一篇报道曾对这种现象提出质疑,指出某品牌手机跑分时启动了“性能模式”,而在平时的使用中“性能模式”很少被调用开启。这种处理方式虽然能够获得高跑分,但是不能模拟用户真实的使用情景,这让基准测试不具有参考意义。

尚坤认为,针对上述问题,改进基准的方法主要有:一种是增加更多的数据集,让基准变得更难。用没有见过的数据测试,这样才能判断AI模型是否能够避免过拟合。研究人员可创建一个动态数据收集和基准测试平台,针对每个任务,通过众包的方式,提交他们认为人工智能模型会错误分类的数据,成功欺骗到模型的样例被加入基准测试中。如果动态地收集数据增加标注,同时迭代式的训练模型,而不是使用传统的静态方式,AI模型应该可以实现更实质性的进化。

尚坤说,另一种是缩小实验室内数据和现实场景之间的差距。基线测试无论分数多高,还是要用实际场景下的数据来检验,所以通过对数据集进行更贴近真实场景的增强和扩容使得基准测试更加接近真实场景。如ImageNet-C数据集,可根据16种不同的实际破坏程度对原有的数据集进行扩充,可以更好模拟实际数据处理场景。

应用广泛,需尽快建立国家标准

美国麻省理工学院Cleanlab实验室的研究指出,常用的10个作为基准的数据集中,有超过3%的标注是错误的,基于这些基准跑分的结果则无参考意义。

“如果说,基准测试堪称人工智能领域的‘科举制’,那么,‘唯分数论’输赢,是不可能训练出真正的好模型。要打破此种现象,一方面需要采用更全面的评估方法,另一方面可以考虑把问题分而治之,比如用多个AI模型解决复杂问题,把复杂问题转化为简单确定的问题。简单且经过优化的基线模型往往优于更复杂的方法。谷歌的研究人员为常见的AI任务引入了不确定性基线库,来更好评估AI应用的稳健性和处理复杂不确定性的能力。”远望智库人工智能事业部部长、图灵机器人首席战略官谭茗洲指出。

虽然行业正在改变对于基准的态度,但目前基准测试研究仍然是一个小众研究。谷歌在一份研究中采访了工业界和学术界的53位AI从业者,其中许多人指出,改进数据集不如设计模型更有成就感。

谭茗洲表示,AI应用基准研究是构建国内统一大市场的内在需要,当前AI已经在国计民生的各类领域中得到广泛应用,更需要设立标准对AI模型进行全面有效的评估,片面追求和采用高分AI模型,可能会让模型在复杂极端场景下出现“智障”行为,并且可能由于训练和推理性能的低效,造成不良社会影响、经济损失和环境破坏。

谭茗洲强调,AI应用基准研究关乎国家战略。针对重要领域,建立我国自己的AI基准测试标准、AI数据集、AI模型评估标准等迫在眉睫。

据了解,西安电子科技大学的DvcLab也在AI基准测试这个领域进行了前瞻性研究,特别是针对AI应用基准测试中数据集的整体质量与动态扩展两个关键问题,正在开发可在线协作的数据标注与AI模型研发托管项目,并计划今年陆续开源,正在为构建国家AI基准评估标准体系进行积极探索。

编辑:张琦琪

审核:朱丽

  •  标签:  
相关推荐
解决AI“高分低能”,需要升级的是考核机制科技数码

最近#年轻人不爱换手机#的话题再次登上热搜,在手机技术日新月异的今天,为什么年轻人不愿意买手机了呢?我之前就发表过我的观点,第一是手机单价并不便宜,很多年轻人觉得频繁换手机,钱包伤不起;第二手机更新迭代太快,性能严重溢出,手机几年不卡,导致没有换机欲望。当然,作为万千年轻群体中的一员,我也已经三年没换手机了,一直使用的是三年前买的荣耀20 Pro,这款麒麟980芯片的手机即使用到今天,它的体验也不算差,虽然流畅度和今天的旗舰U,高刷屏没法比,但整体体验并不会让人觉得难受。之前用了3年的荣耀20

2022-06-22  7
解决AI“高分低能”,需要升级的是考核机制科技数码

目前市面上有很多高性价比热门手机都集中在2~3K价位段,这也正好在大多数小伙伴购买手机的预算范围之内。今天就给大家推荐几款该价位段比较值得购买的热门手机。OPPO K10OPPO K10采用了今年比较流行的大视窗相机模组,且与后盖配色保持一致,既有辨识度又精致好看。正面配备了一块6.59英寸LCD 120Hz高刷变速屏,刷新率支持多档调节,既流畅又省电。拥有600nits峰值亮度,户外阳光下也能看得清。性能方面,OPPO K10搭载了天玑8000-Max处理器,拥有旗舰级别的强大性能,且功耗控制

2022-06-22  9
解决AI“高分低能”,需要升级的是考核机制科技数码

近期随着618临近,京东商城各类手机均有一些折扣活动,小编整理了目前在2000元价位最值得购买的手机推荐给大家。OPPO K10目前OPPO K10京东售价1889元,但现在下单可获赠耳机、机器人音箱一个。OPPO K10虽然不到2000元,但配置上却十分讲究。处理器方面这款产品使用联发科天玑8000-MAX芯片,8颗核心运行频率可以达到2.75GHz,足以应对《王者荣耀》这类游戏。此外,这款产品还配备了67W超级闪充以及5000mAh超大电池,这样的配置保障了户外续航和手机充电速度。另一方面O

2022-06-22  8
解决AI“高分低能”,需要升级的是考核机制科技数码

近日知名行业分析机构Strategy Analytics公布了2022年第一季度中国智能手机市场畅销榜前十的名单。iPhone 13不出意外地位居了榜首,下面带大家看看还有哪些机型上榜了吧。iPhone 13系列iPhone 13可以说是去年和现在都十分畅销的智能手机,A15+6.1英寸OLED屏幕的配置使其可以满足大部分用户的使用需求。iPhone 13 128GB版目前在京东自营平台领券到手价为5399元。iPhone13 Pro Max和iPhone13 Pro也均有上榜。荣耀50荣耀50

2022-06-22  8
解决AI“高分低能”,需要升级的是考核机制科技数码

人工智能是业务的一部分吗?或者它是一个实用程序?如果你是数字原生代,人工智能可能是业务运行的燃料的一部分。但在一个拥有传统业务或正在转型的大型组织中,如何衡量投资回报率是他们必须解决的一个基本问题。报道 | 吴昕与以往任何时候相比,现在各企业都对人工智能和机器学习的潜力充满信心并加以投入。根据 2022 年 IBM 全球人工智能采用指数(IBM Global AI Adoption Index 2022),35% 的公司报告称目前在其业务中使用人工智能,另有 42% 的公司表示他们正在探索人工智

2022-06-22  7

原文链接:https://www.tscy18.com/kejism/20573.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 315661083@qq.com 举报,一经查实,本站将立刻删除。