一般是机器和人工审核的双重过滤。根据不同业务需求，信息量及风险权衡，人机审核比例会有所不同。
不废话，直接上干货。
1、 文字内容方面
1）使用敏感词过滤系统。
信息审核工作都是在信息审核平台上进行的，网站的运营审核系统中会预先设定一批关键词库并对词组进行排列组合，这批词库又会根据敏感性进行分类。系统会阻止用户发布敏感词汇，或将用户发出来的含有敏感词的内容直接删除。 对于某些敏感性较低的词汇，发出来不会立即删除，需要经过审核人员过目进行二次审核。
2）建立反垃圾信息（anti-spam）机制。
我们经常会遇到一些垃圾信息，比如邮箱中收到的各种垃圾邮件、新浪微博的僵尸粉以及论坛中层出不穷的广告贴等等。有人会不停的去寻找网站的漏洞以及规则，使用机器发布这些垃圾广告从而达到营利目的。anti-spam主要是指通过技术手段对数据进行过滤和筛选，将我们认定为不合格的数据清理掉，将系统认为可疑的信息进行提示分类。anti-spam对审核工作也是一个相辅相成的内容。
2、 图片内容方面
对于图片内容的审核，传统的审核方式主要依赖于人工。图片不同于文字，无法提取关键词，对于大多数互联网公司在技术上无法达到，否则也就不会出现鉴黄师这样的职业了。
另一种方式是引导用户使用举报功能。目前很多带有社交属性的网站和App，都会为用户开通举报功能。用户在浏览内容中发现色情视频、图片等不良信息，可以通过点击相应按钮或者链接的形式，向网站管理员举报，并由网站管理员完成删图或者封号等后续处理。从目前实践情况来看，这个方式虽取得了一定效果，但仍无法杜绝不良信息的传播。
现在还有种最新的使用人工智能技术的审核方式。目前市面上已经有成熟的第三方公司提供API接口，如图普科技的图像识别云平台，可以辅助网站进行机器审核。这种方式主要是基于深度学习图像识别云，通过针对目标特征专门训练的素材库和识别模型来甄别存在的违规图片。使用时却很简单，只需通过接入API调用识别服务即可。
如果自建系统做机器审核的话会非常坑爹。计算机视觉领域是技术含量非常高的领域，不仅在技术层面有着严苛要求，还需要大量的训练数据的积累、复杂的图像识别算法、昂贵的硬件系统和相应的工程化开发的支持。技术、人才、设备、大数据缺一不可。尤其是样本数量，直接决定着机器训练后的准确度。以图普科技的样本库为例，有超过1亿的色情样本和千万级别的极端宗教主义样本，你感受感受。
3、视频内容方面
任何文件都有且只有一个独一无二的MD5信息值，MD5可以说是文件的“数字指纹”。对于含有视频内容的网盘或视频网站，采取的方式是建立涉黄文件的MD5数据库，用户上传后自动分析MD5是否合法，则能避免涉黄文件的重复分享。审核人员再对通过自动检测的每条视频进行审查。
网监有一个巨大的危险MD5库，库内藏着各种不能流于世的视频。视频网站都需要接入这个库，并在实际审核中增加自己的库存。此外，包括标题、简介、评论等文字部分也是在审核的范畴。
通过MD5之后的视频，第二步会经历机器审核的过滤。机器审核视频同样是基于深度学习图像识别云，实际也是将视频截图，由机器审核每一张截图的安全性。不过具体是3秒截一张还是5秒截一张，松紧度由视频网站自己控制。
对于不能通过的视频，机器审核视频会给出两类结果：确定不能通过的，这类的准确率几乎能达到99.5%以上；仅作参考的，准确率在95%到97%，这可能意味着该视频需要再次进行人工审核。从整个行业来说，机器基本能筛过99%的视频，只有1%需要再次动用人工。如果是150万的视频，那人工只需要审核1.5万个。
对于像优酷、爱奇艺这样的大型视频网站采取的是先审后发，而且更突出的是PGC部分的内容。然而在国内，多数UGC都是“先发后审”的，尤其在直播/短视频领域，强调草根主播，强调时效性。由于每天新产生的内容量太大，为了减轻审核工作，他们也有很多窍门，比如短视频领域中，会对新用户和高危用户的上传会优先审核，是“重点关注对象”；明星、大V等账号会被设置成为信任账户，默认他们发布的视频不用通过审核。在系统方面，则会建立反垃圾屏蔽系统，记录用户行为、关键词、头像MD5识别等进行用户和垃圾拦截；对于直播领域，则会要求在画面播出前完成机器审核（直播一般会有5-60s不等的延迟），避免“造人事件”再次发生。
最后提醒一下，视频网站除了会对发布违禁视频的用户封号处理之外，还会把其IP汇报给网监，据说散布危害国家安全的视频判六年。所以千万别踩到雷。
扫码APP
扫码使用
登录 | 立即注册