哔哩哔哩——人工智能系统为儿童网络安全绿色护航

 2022-06-20 15:20:15    9  

关于案例背景

哔哩哔哩,作为中国Z世代高度聚集的综合性视频平台,汇聚了2.72亿月活用户。也就是说每两个中国的年轻人中,至少有一位是B站的用户。每月,在B站有超过325万创作者,上传、分享1100万则视频作品,内容涵盖超过200万个文化标签,7000个核心圈层,囊括了Z世代青年各个兴趣圈层的视频类别和内容,并通过弹幕、加评的模式鼓励用户产生更深入的社交互动。

平台上丰富的视听内容正逐步成为儿童上网学习、娱乐的重要选择之一。考虑到儿童的心智发育尚未完善,缺乏应对网络上不良信息的能力和意识,平台从保护、赋能的角度出发,以公平和非歧视为原则,在保护儿童的安全,支持儿童的发展上,通过人工智能技术和手段对社区中的不良信息进行监测和处理,并持续建设健全专业的团队对不良信息进行系统性的防控和治理,从而创造一个促进儿童友好型人工智能的网络环境。

关于技术方案的具体措施

作为一家内容平台,哔哩哔哩平台利用人工智能技术识别和干预社区中的“软色情类”与“人身攻击类”不良信息,降低对儿童的负面影响。同时,利用人工智能“优选弹幕”技术,为儿童营造一个更健康、积极、和谐,更为正面的弹幕观看环境。具体而言,对于负向信息包含“软色情类信息”以及“人身攻击类信息”等两个主要模块,对于正向信息包含“弹幕优选”模块。

哔哩哔哩——人工智能系统为儿童网络安全绿色护航

图1 弹幕系统架构图

其中,在关键技术方面,首先“软色情类”不良信息处理模块。识别并处理弹幕软色情的文本,存在三个主要的技术难点。第一,弹幕的文本较短,传统的机器学习模型很难在很短的内容上获取学习到足够的特征,对于文本的语义识别难度较大;第二,软色情的评判标准难以统一,不同用户对于软色情文本的容忍程度和认知程度不一,相同文本内容在不同场景下也可能存在不同的含义;第三,软色情信息分布失衡,在所有的弹幕中软色情文本内容的占比很低且较隐晦,样本类别的分布失衡导致软色情文本识别难度加大。针对技术难点,选择Transformer的文本分类模型(图1),搭建“软色情类”不良信息的处理模块。

哔哩哔哩——人工智能系统为儿童网络安全绿色护航

图2 Tansformer模型结构

其次,“人身攻击类”不良信息处理模块。“人身攻击类”不良信息主要包含以下几种类型:1.语义情感较为负面的内容;2.带有骂人、羞辱、嘲讽等词汇的内容;3.恶意玩梗,让青少年产生不良体验等内容。“人身攻击类”不良信息的过滤本质上是一个文本二分类问题。经过综合考虑,模型选择Albert模型做为基准。该模型是一种基于BERT模型的轻量级优化,它基于嵌入参数化进行因式分解和跨层参数共享的技术,大幅提升了训练速度。其模型结构如图2所示。

哔哩哔哩——人工智能系统为儿童网络安全绿色护航

图3 Albert模型结构

对于“人身攻击类”不良信息的模型处理同样需要经过数据准备与模型构建两个阶段。

在数据准备阶段,需要对于“人身攻击类”弹幕进行数据清洗、筛选和增强。模型采用confidence learning技术对数据进行标签修正。以人身攻击文本:非人身攻击文本=1:5的比例,构建有两千万条弹幕的训练集进行模型的训练,并在二十万条文本的验证集上进行验证。

在模型构建阶段,模型会先对输入的弹幕进行tokenization(id化),然后对token、segment和position这三种embedding进行相加,再通过encoder层拿到句子的表征向量,最后输出一个0到1之间的概率值。越接近1表示该弹幕内容越有可能包含人身攻击内容。根据B站的弹幕生态分布情况,需要不断进行模型的迭代优化,减少青少年观众接触“人工攻击类”不良信息的可能性。

此外,“弹幕优选”正向信息处理模块。除了对于不良信息的过滤,社区还对于有利于儿童发展的积极向上的正向内容进行引导。以人工智能的技术对用户生成的弹幕内容进行评分,更加有利于营造更好的儿童观看视频的弹幕环境。

该模型的训练数据来自用户的点赞弹幕。点赞代表的是观众对于该文本的态度,点赞数量越多代表观众对于文本内容有更为积极的态度。人工智能系统优先推送评分更高的弹幕,从而能够正向引导社区的氛围。

关于应用效果

针对上述提到的三个信息处理模块,在不同的业务场景下均实现了努力创造一个促进儿童友好型人工智能的网络环境的效果。

一是“软色情类”不良信息处理模块应用于平台中的文本软色情识别。保护儿童的安全,保障儿童在互联网上学习、娱乐的过程中不受到有害信息的危险。

二是“人身攻击类”不良信息处理模块应用于平台中的人身攻击类文本识别。在识别并进行运营的干预后,使整体人身攻击类弹幕占比下降约40%。当前模型预测有较高的准确率,为儿童的观看体验提供了保护和支持。

三是“弹幕优选”正向信息处理模块应用于平台中的正面信息引导。筛选出能够营造积极氛围的弹幕,营造了良好的社区氛围。应用该模块能够使社区中的正向内容率整体提升33%。此外,平台相配套的“能量加油站”等心理健康服务功能,能够进一步引导儿童得到线上或线下的人工支持,赋能儿童的健康成长。

作为中国最大的内容社区平台之一,哔哩哔哩长期关注儿童的网络安全相关风险与趋势,在保护、赋能儿童方面积极投入。未来,哔哩哔哩将持续投入专业的团队资源,为创造一个促进儿童友好型人工智能的网络环境积极贡献。(案例报送单位来自上海宽娱数码科技有限公司,上文为部分节选,如需全文请联系项目组。)

来源: 光明网

  •  标签:  
相关推荐
哔哩哔哩——人工智能系统为儿童网络安全绿色护航科技数码

最近#年轻人不爱换手机#的话题再次登上热搜,在手机技术日新月异的今天,为什么年轻人不愿意买手机了呢?我之前就发表过我的观点,第一是手机单价并不便宜,很多年轻人觉得频繁换手机,钱包伤不起;第二手机更新迭代太快,性能严重溢出,手机几年不卡,导致没有换机欲望。当然,作为万千年轻群体中的一员,我也已经三年没换手机了,一直使用的是三年前买的荣耀20 Pro,这款麒麟980芯片的手机即使用到今天,它的体验也不算差,虽然流畅度和今天的旗舰U,高刷屏没法比,但整体体验并不会让人觉得难受。之前用了3年的荣耀20

2022-06-22  7
哔哩哔哩——人工智能系统为儿童网络安全绿色护航科技数码

目前市面上有很多高性价比热门手机都集中在2~3K价位段,这也正好在大多数小伙伴购买手机的预算范围之内。今天就给大家推荐几款该价位段比较值得购买的热门手机。OPPO K10OPPO K10采用了今年比较流行的大视窗相机模组,且与后盖配色保持一致,既有辨识度又精致好看。正面配备了一块6.59英寸LCD 120Hz高刷变速屏,刷新率支持多档调节,既流畅又省电。拥有600nits峰值亮度,户外阳光下也能看得清。性能方面,OPPO K10搭载了天玑8000-Max处理器,拥有旗舰级别的强大性能,且功耗控制

2022-06-22  9
哔哩哔哩——人工智能系统为儿童网络安全绿色护航科技数码

近期随着618临近,京东商城各类手机均有一些折扣活动,小编整理了目前在2000元价位最值得购买的手机推荐给大家。OPPO K10目前OPPO K10京东售价1889元,但现在下单可获赠耳机、机器人音箱一个。OPPO K10虽然不到2000元,但配置上却十分讲究。处理器方面这款产品使用联发科天玑8000-MAX芯片,8颗核心运行频率可以达到2.75GHz,足以应对《王者荣耀》这类游戏。此外,这款产品还配备了67W超级闪充以及5000mAh超大电池,这样的配置保障了户外续航和手机充电速度。另一方面O

2022-06-22  7
哔哩哔哩——人工智能系统为儿童网络安全绿色护航科技数码

近日知名行业分析机构Strategy Analytics公布了2022年第一季度中国智能手机市场畅销榜前十的名单。iPhone 13不出意外地位居了榜首,下面带大家看看还有哪些机型上榜了吧。iPhone 13系列iPhone 13可以说是去年和现在都十分畅销的智能手机,A15+6.1英寸OLED屏幕的配置使其可以满足大部分用户的使用需求。iPhone 13 128GB版目前在京东自营平台领券到手价为5399元。iPhone13 Pro Max和iPhone13 Pro也均有上榜。荣耀50荣耀50

2022-06-22  8
哔哩哔哩——人工智能系统为儿童网络安全绿色护航科技数码

人工智能是业务的一部分吗?或者它是一个实用程序?如果你是数字原生代,人工智能可能是业务运行的燃料的一部分。但在一个拥有传统业务或正在转型的大型组织中,如何衡量投资回报率是他们必须解决的一个基本问题。报道 | 吴昕与以往任何时候相比,现在各企业都对人工智能和机器学习的潜力充满信心并加以投入。根据 2022 年 IBM 全球人工智能采用指数(IBM Global AI Adoption Index 2022),35% 的公司报告称目前在其业务中使用人工智能,另有 42% 的公司表示他们正在探索人工智

2022-06-22  7

原文链接:https://www.tscy18.com/kejism/21176.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 315661083@qq.com 举报,一经查实,本站将立刻删除。