最近,短视频领域又迎来了一项重大技术突破 —— 快手推出的 KuaiMod,这一基于大模型的内容审核框架,有望彻底改变短视频生态的现状。今天,咱们就深入剖析一下,KuaiMod 到底有哪些厉害之处。短视频的 “烦恼”:不良内容泛滥
现在的短视频平台,像快手、TikTok 这些,那发展速度简直像坐火箭一样!每天都有海量的视频上传,其中不乏很多优质内容,给大家带来知识和欢乐。但问题也来了,有些不良视频也趁机混入其中,对平台生态造成了不小的威胁,尤其是对未成年人的身心健康可能产生危害。
为了拦住这些不良内容,内容审核环节就变得至关重要。传统的审核方式,就像让一群 "人工裁判" 按照既定的规则去判断每个视频是否合规。但这种方式问题不少:
人工审核成本超高,而且人嘛,总会有主观偏见
随着短视频数量的暴增,人工审核的速度根本跟不上
早期AI方法准确率不高,只能在特定场景下勉强使用
大语言模型面对复杂的短视频内容也有点力不从心
KuaiMod 来 “救场”:借鉴法律智慧打造审核神器
面对这些难题,快手的研究人员灵机一动,从法律体系里找到了灵感。大家知道,法律分为民法体系和普通法体系,传统的审核方式就像民法体系,依赖固定的规则。而快手这次借鉴的是普通法体系,它不依赖死板的条文,而是根据以往的案例来做判断,更加灵活。KuaiMod 就是基于这个思路诞生的!
打造审核 “题库”:KuaiMod 基准数据集
在正式介绍 KuaiMod 之前,得先说说它的 “秘密武器”——KuaiMod 基准数据集。研究人员从快手平台收集了大量视频,精心挑选出1000个,有健康积极的,也有包含各种不良内容的。这些不良内容被细分成15个类别,像危害社会安全与法律、违反内容伦理、禁止的商业行为、侵犯知识产权等等。
这些数据可不是随便找的,积极的视频来自人工审核过的高质量视频队列,而且用户反馈都很好;不良视频则来自高举报、高差评和负面评论多的视频。收集好之后,30位经验丰富的标注员仔细标注,最终确定了这个涵盖各种类型的测试集。这可是第一个开源的短视频平台内容审核基准数据集,意义非凡!
KuaiMod 的 “修炼秘籍”:三步走策略
1. 数据构建:给模型 "喂" 好料
训练数据的来源和标注过程和基准数据集类似,但规模更大。研究人员从快手平台的四个视频队列里采样了50000个视频,还利用元启20B 模型来帮忙标注。遇到标注员不好分类的视频,就让元启20B 模型生成补充标签,然后人工审核后再加入分类体系。现在这个分类体系已经扩展到100多个违规类别了,而且还在不断更新。
2. 离线适配训练:打磨模型 "基本功"
有了数据,接下来就是训练模型。这一步分为两个关键环节:
大规模监督微调(SFT):让模型在大量案例中学习如何分析视频内容
基于错误的直接偏好优化(DPO):专门揪出模型犯的错误,通过对比正确和错误的输出,让模型不断改进
3. 在线部署与优化:让模型 "与时俱进"
短视频平台的内容变化太快了,静态的审核模型根本跟不上节奏。所以,KuaiMod 设计了一个基于用户反馈的强化学习(RLUF)机制,让模型能根据平台的实时反馈不断优化审核策略。
效果惊人:KuaiMod 实力大展示
离线评估:碾压一众 “选手”
研究人员找了好多其他的审核方法来和 KuaiMod 对比,有基于 API 的,像谷歌的 Perspective API;有基于小模型的,比如 RoBERTa;还有基于大模型的,像 Intern-VL。结果发现,KuaiMod 在各项指标上都表现得超级出色!
从召回率、精确率和准确率这些指标来看,KuaiMod 在判断视频是否违规以及违规类别上,都比其他方法更准确。就算是和强大的 GPT-4o 相比,KuaiMod 在多类别分类任务上也毫不逊色,甚至更胜一筹。而且,通过消融实验发现,KuaiMod 的每个组件都很重要,少了谁都不行,这也证明了它设计的合理性。
在线应用:平台的 “救星”
KuaiMod 在快手的多个场景中都进行了部署,像 NEBULA、Featured 和 Main Site,这些场景每天都有上千万的活跃用户。
在综合生态治理方面,KuaiMod 把违规视频找出来并处理掉,大大降低了用户举报率,同时还让平台的日活跃用户数(DAU)和总应用使用时间(AUT)保持稳定甚至上升,这说明它让用户在平台上的体验更好了。在个性化推荐方面,KuaiMod 根据不同用户对不良内容的接受程度,调整推荐策略。结果 DAU 和 AUT 都增加了,这表明它不仅能保证平台的 “绿色健康”,还能提升平台的收益。
未来可期:短视频 “净化大师” 的展望
KuaiMod 的出现,给短视频平台的内容审核带来了新的希望。它用创新的方法解决了传统审核方式的难题,通过独特的数据构建、训练和优化机制,成为了一个高效、准确的内容审核框架。
不过,技术总是在不断发展,未来还有很多挑战等着。但有了 KuaiMod 这个好的开始,相信在它的基础上,短视频平台的内容审核会越来越智能、越来越高效,咱们以后刷短视频的时候,看到的不良内容会越来越少,享受的优质内容会越来越多!家人们,是不是很期待呢?https://www.aibase.com/zh/news/17916