新黄河记者:李运恒
从“钢铁保姆”机器人引发市民抢购等AIGC造假,到数量巨大、隐蔽深、变体快的黑灰产账号,小红书上相关的虚假内容不仅伤害了用户也危害着平台社区的健康生态。6月12日,小红书在北京举办了一场“打击虚假”治理开放日,根据开放日上的信息,2025年上半年社区虚假内容治理取得系列成果,包括通过建设虚假内容全链路治理体系,共处置虚假笔记320万篇,处置虚假人设账号1万个,处置虚假低质AIGC笔记60万篇;通过持续建设“同质化识别”能力,全面提升处置手段,升级机器对抗,共封禁批量造假黑灰产账号超1000万个。
小红书“打击虚假”治理开放日公布的治理数据
中国人民大学新闻学院副教授董晨宇在开放日上表示,应对当前互联网虚假内容快速增长与传播需要“立体式”的行动,其中不仅包括平台的努力,更包括全社会的共同参与。“虚假和打假之间注定一直是一种动态制衡。在这场持久战中,如果真实想要稳居上风,公众媒介素养的提升是关键。”
据了解,在持续主动治理之外,小红书也积极鼓励用户参与共治。在6月11日举办的中国网络文明大会上,小红书总编辑许磊表示,小红书持续优化举报机制,今年上半年,虚假信息的平均审核时长同比降低25%;接下来,还将通过改进产品等措施,吸引更多用户参与到虚假内容的共治中。他还提到,小红书是“普通人创作内容”的社区,“分享真实的内容”和“真诚分享”也是小红书的社区价值观。
虚假低质AIGC内容也成为治理的重中之重
虚假不实内容、虚假人设和AIGC造假是当前小红书社区打击“虚假”的三个重点。小红书虚假内容治理负责人蒂法介绍,在虚假不实内容治理方面,小红书建构了“前置拦截、事中追踪、分析回扫”的“前中后”全链路治理体系;上线了内容信息量模型,笔记摘要提取模型,AIGC谣言诊断模型等15个识别大模型,并建立了真实信源库和谣言库,实现了对虚假内容的实时拦截和批量回扫,半年共处置虚假笔记320万篇。
小红书虚假内容治理负责人蒂法介绍治理策略
在虚假人设治理方面,小红书设置了内容前置审核制度,采用了账号关系挖掘分析策略,并上线多个图像及视频识别模型,通过综合笔记内容和账号信息进行分析判断,对虚假人设进行精准打击,半年共处置虚假人设账号1万个。
在AIGC技术爆发式发展的当下,虚假低质AIGC内容也成为治理的重中之重。小红书不断加大对AIGC识别模型的研发投入,进一步提高识别精准度,减少虚假低质AIGC内容的曝光。同时,平台对AIGC生成内容做主动标识工作,提升信息透明度。半年共处置治理虚假低质AIGC笔记60万篇。
“虚假是社区的癌细胞,决不能放任其发展危害健康生态。”蒂法表示,小红书将打击“虚假”作为长期治理重点,持续投入人力和技术力量,不断提升治理效果。
向多地警方等部门积极提供线索,对黑灰产团伙进行线下打击
黑灰产通常以“学姐”、“学长”的虚假人设,发布套路、虚假的内容,来吸引流量,并引流。一种是有夸张的标题,例如“挂几家骗子公司”“骗子公司虚假宣传真厉害”,吸引人点开;还有就是列举几家比较头部的公司,横向测评和对比这几家。但在笔记里面,又没有特别具体的案例来印证骗子公司,也没有细节去对比几家公司的特点,然后通过话术,引导用户要想得到更多信息就私信了解。通过私信获取客户资料,再导流到微信,最后导流到与黑灰产合作的机构。
“从建号到养号再到牟利,黑灰产账号进行全链路批量造假,对社区生态和秩序的危害巨大。”开放日上,小红书黑灰产账号治理负责人必行介绍,黑灰产组织批量制造黑灰产账号,通过虚假、重复、低质内容骗取用户流量;养号涨粉后,又会发布虚假、恶意营销内容,或者销售灰色商品,提供灰色服务,甚至从事违法活动,从而实现不当牟利。
必行说:“因此我们开展了小红书史上最严黑灰产账号治理行动,对黑灰产坚决打击,绝不让步半分。”根据开放日上公布的信息,2024年11月中,小红书黑灰产账号治理专项开启;专项开展1个月,封禁126万黑灰产账号;开展3个月,封禁320万黑灰产账号;开展7个月,封禁超1000万黑灰产账号。
小红书黑灰产账号治理负责人必行分享黑灰产账号的特征
为了应对黑灰产账号的数量巨大、隐蔽深、变体快和对抗强等挑战,治理团队从识别能力和处置能力两方面重点做功。
在识别能力方面:上线50多个模型,建立了以“同质化识别”为核心的风控体系,将对黑灰产的识别召回率提升了72%。在处置能力方面,不断优化处置策略,极大提升黑灰产作恶成本;全面升级机器对抗,用机器判罚大规模代替人工判罚,大幅提高对黑灰产账号的处置量级及时效性。
在线上治理的同时,小红书案件调查团队还向多地警方和市场监督部门积极提供线索,对黑灰产团伙进行线下打击。目前有7起案件在侦办中,后续警方和市场监督部门将根据调查结果采取各种处罚措施,涉及犯罪行为的还将进一步追究刑事责任。
持续优化举报机制,鼓励用户参与共治
开放日上,小红书审核培训师给现场观众上了一节“打假”志愿者培训课,展示了近10个不同类型的造假案例,现场观众进行鉴假。在场多位观众表示,会将学到的鉴假方法应用到对虚假内容的鉴别和举报中。
小红书副总裁许磊在中国网络文明大会上也介绍了小红书较为完善的虚假信息举报制度。小红书开通监管网站、APP客户端举报、举报热线和举报邮箱四种途径。在常态化转发重要辟谣稿件的基础上,搭建起辟谣专区,为用户提供一站式辟谣信息服务;官方账号“薯管家”每周定期发布辟谣笔记。
小红书还持续优化举报机制,鼓励用户参与共治。许磊介绍,2025年上半年,小红书虚假信息的平均审核时长同比降低25%。下半年,小红书还将进一步简化用户举报流程,实现一个页面、一次提交即完成举报,让更多用户低成本、无门槛地参与到虚假信息的共治中来。
许磊表示,小红书是“普通人创作内容”的社区,“分享真实的内容”和“真诚分享”不仅是平台用户自发形成的内容创作准则,也是小红书的社区价值观。因此,打击虚假,提倡真实是小红书的必然选择。小红书还设立了“真诚分”账号体系,从分享动机、内容质量多方面判断账号是否真诚,从而对真诚的创作者给予流量倾斜,对虚假低质的杂音噪声进行压制。
董晨宇分享应对虚假信息的传播规律和应对策略
此外,中国人民大学新闻学院副教授董晨宇从传播学角度分享了虚假信息的传播规律与应对策略。他说:“应对当前互联网虚假内容快速增长与传播,需要各平台积极打击,全社会共同参与。虚假内容无法完全被消灭,但可以通过科普、举报、公众传播学素养的提升,将虚假控制在较低的水平。”
编辑:郑楚翘 校对:高新