网易云安全(易盾)对象存储反垃圾服务基于人工智能、大数据分析技术,依托网易反垃圾海量特征样本库,对用户存储在对象存储上的图片数据进行高效甄别,并对涉及广告、色情、违禁、暴恐等垃圾类型的图片数据进行嫌疑程度的判断,同时为用户提供准确便捷的检测结果展示平台。
用户可通过结果变更、删除等快捷操作,对图片等数据做出快速处理,帮助企业减少审核人力成本,有效降低运营风险。
对于一些每天有大量非结构化数据生成的 UGC 平台来说,不健康内容的上传不仅会影响到其他用户的产品使用体验,而且对于平台/产品来讲,对内容也负有着一定的监管义务甚至是监管责任。
那么,对于这些把这部分数据存储在云上的平台/产品来说,如何保障用户上传数据的健康、合理就显得尤为重要。
出于对这部分企业用户在如上业务场景中监管需求的考虑,网易云对象存储接入了网易云安全(易盾)反垃圾服务来帮用户轻松解决这一难题。
接入背景
近年来,我国对健康网络环境建设非常重视,相继颁发了《互联网信息服务管理办法》、《互联网交互式服务安全保护要求》、《网络安全法》等管理法规,并成立了互联网违法和不良信息举报中心、全国扫黄打非办公室等机构,在针对黄赌毒等垃圾信息上,出台了大家耳熟能详的 “七条底线”,致力于打造一个健康、和谐的绿色网络环境。
网易云对象存储向用户提供对海量非结构化数据的存储服务,主要针对企业级用户,存储的数据量都是 P 级别。而数据的生产者大多是企业用户的产品使用者,作为企业,须确保使用者上传的数据是健康、绿色的。
网易云安全(易盾)是一个拥有 20 年反黄反垃圾经验的成熟产品,用户口碑非常好,于是对象存储和易盾的结合就水到渠成。
解决方案
常见解决方案
目前多数云厂商采用上述方案,主要的流程为:
客户端上传文件到云存储,并设置好文件的 Content-Type 将文件在云存储的链接传到检测系统 检测系统根据用户提供的链接获取文件内容 用户采用轮询方式查询检测结果
该方案流程比较清晰,但是缺点非常明显,主要有以下几点:
1. 用户接入成本高
用户不光要关心上传动作,还要实现发送检测请求,增加了复杂度。
2. 严重依赖 Content-Type
检测系统基本上都是根据文件类型做检测,根据文件是图片、文本、视频,会进行不同的鉴别操作。而在很多场景下,文件大多是企业用户的产品使用者上传的,因此企业是很难获取文件的类型的,所以很难设置 Content-Type。
3. 安全性低
对于私有属性的文件,做检测时需要将文件的认证信息放在 URL 中发给检测系统,如果请求被捕获,则文件就会泄露,造成安全隐患。
优化的解决方案
通过对上面解决方案的分析,我们提出了一个比较完善的解决方案。
架构图如下:
在该架构下,用户接入异常简便,对于用户来说只需要两部分操作,其一为选择桶、点击开启,其二为正常上传文件。后续所有的事件通知、类型检查、文件检测都是自动完成。
整个流程分为开启和检测两个部分。开启部分,流程如下:
只有前两步需要用户参与。
检测的流程为:
用户只需要登录网易云安全(易盾)检测结果平台进行查看即可。
该方案有以下几个优点:
1. 用户使用简单
如上所示,用户接入只需要选择桶,点击开启即可,流程简单。
2. 完善的子账号权限控制体系
引入了 “权限控制” 模块,支持非常完善的账号权限体系。支持 “子账号”、”群组”、”策略”、”角色” 等概念。”策略” 是一系列权限的集合,”角色” 是和策略绑定的模板,”群组” 是和策略绑定具有一系列权限的组,”子账号” 属于某个 “群组” 从而拥有群组的权限。通过子账号权限体系,用户可以更方便、更安全地管理自己的资源。
3. 事件通知功能
事件通知功能会将用户关注的特定事件 (比如文件上传、删除等操作)异步推送到配置服务器上。网易云安全(易盾)通过订阅用户的上传事件,感知用户的文件上传,每当用户在云存储上上传文件,存储模块会异步将该事件通知给网易云安全(易盾)进行反垃圾处理。除此之外,用户还可以使用事件通知实现以下功能:
直传回调:用户在使用直传功能时,通过订阅上传事件,可以进行异步回调,从而将回调和上传流程解耦 统计分析:对资源的增删改查进行订阅,用户可以实现对资源的统计分析 资源监控:可以通过事件通知监控您的资源上发生的某些操作的 QPS 等指标
4. 便捷的垃圾文件管理
单独使用网易云安全(易盾)服务,网易云安全(易盾)是不会删除用户数据的,登录网易云安全(易盾)控制台只能查看垃圾文件,如果要删除需要用户通过文件名,调用 API 接口自己删除。但使用云存储的反垃圾功能,可以在网易云安全(易盾)控制台选择垃圾图片,通过点击进行批量删除。
目前反垃圾系统已经实现了针对图片的鉴黄功能,欢迎大家使用。接下来很快会推出视频、文本的反垃圾服务,敬请期待。