(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210860656.5 (22)申请日 2022.07.21 (71)申请人 腾讯音乐娱乐科技 （深圳） 有限公司 地址 518052 广东省深圳市前海深港合作 区前湾一路1号A栋201室 （入驻深圳市 前海商务秘书 有限公司） (72)发明人 赖荣凤　李嘉恒　方瑞　吴晓佳　 麦臻华　张俊鹏　傅鸿城　 (74)专利代理 机构 深圳市深佳知识产权代理事 务所(普通 合伙) 44285 专利代理师 张金香 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/26(2012.01) G06F 16/953(2019.01) (54)发明名称 内容审核方法及电子设备和计算机可读存 储介质 (57)摘要 本申请公开了一种内容审核方法及一种电 子设备和计算机可读存储介质， 该方法包括： 识 别需要审核的内容的风险标签； 确定不同风险领 域的安全策略； 基于不同风险领域的安全策略对 风险标签进行分析， 以确定内容在不同风险领域 的风险等级； 根据内容在不同风险领域的风险等 级确定不同风险领域需要人工复核的目标内容； 获取目标内容的人工复核结果， 并计算不同风险 领域对应的目标内容中的违规内容的比例作为 不同风险领域的复核风险比例； 基于不同风险领 域的复核风险比例调整对应风险领域的安全策 略中的阈值参数。 本申请提高了内容审核过程中 策略的灵活性。 权利要求书2页 说明书9页 附图3页 CN 115187104 A 2022.10.14 CN 115187104 A 1.一种内容审核方法， 其特 征在于， 包括： 识别需要审核的内容的风险标签； 确定不同风险领域的安全策略； 基于不同风险领域的安全策略对所述风险标签进行分析， 以确定不同风险领域需要人 工复核的目标内容； 获取所述目标内容的人工复核结果， 并计算不同风险领域对应的目标内容中的违规内 容的比例作为 不同风险领域的复核风险比例； 基于不同风险领域的复核风险比例调整对应风险领域的安全策略中的阈值 参数。 2.根据权利要求1所述内容审核方法， 其特征在于， 所述识别需要审核的内容的风险标 签， 包括： 确定需要审核的内容的媒体类型， 并利用所述媒体类型对应的识别算法识别所述内容 的风险标签。 3.根据权利要求1所述内容审核方法， 其特征在于， 所述识别需要审核的内容的风险标 签， 包括： 识别需要审核的内容包含不同风险内容的概率、 热度信息、 内容发布者信息中任一项 或任几项的组合。 4.根据权利要求1所述内容审核方法， 其特征在于， 所述确定不同风险领域的安全策 略， 包括： 确定需要审核的内容的应用场景， 并确定所述应用场景对应的不同风险领域的安全策 略。 5.根据权利要求1所述内容审核方法， 其特征在于， 所述基于不同风险领域的安全策略 对所述风险标签进行分析， 以确定不同风险领域需要人工复核的目标内容， 包括： 基于不同风险领域的安全策略对所述风险标签进行分析， 以确定所述内容在不同风险 领域的风险等级； 根据所述内容在不同风险领域的风险等级确定不同风险领域需要人工复核的目标内 容。 6.根据权利要求5所述内容审核方法， 其特征在于， 所述确定所述内容在不同风险领域 的风险等级之后， 还 包括： 利用所述 风险等级对应的处置命令对所述内容进行处 理。 7.根据权利要求1至6中任一项所述内容审核方法， 其特征在于， 所述基于不同风险领 域的复核风险比例调整对应风险领域的安全策略中的阈值 参数， 包括： 若所述复核风险比例大于第一预设值， 则调整对应风险领域的安全策略中的阈值参 数， 以增加对应风险领域的目标内容的数量； 若所述复核风险比例小于第二预设值， 则调整对应风险领域的安全策略中的阈值参 数， 以减少对应风险领域的目标内容的数量； 其中， 所述第一预设值大于所述第二预设值。 8.根据权利要求7所述内容审核方法， 其特征在于， 所述调整对应风险领域的安全策略 中的阈值 参数， 以增 加对应风险领域的目标内容的数量， 包括： 向目标方向调整对应风险领域的安全策略中的阈值参数， 并重新进入基于不同风险领权　利　要　求　书 1/2 页 2 CN 115187104 A 2域的安全策略对所述 风险标签进行分析的步骤， 得到更新后的复核风险比例； 若更新后的复核风险比例小于更新前的复核风险比例， 则继续向所述目标方向调 整对 应风险领域的安全策略中的阈值 参数； 若更新后的复核风险比例大于更新前的复核风险比例， 则向所述目标方向的相反方向 调整对应风险领域的安全策略中的阈值 参数； 相应的， 所述调整对应风险领域的安全策略中的阈值参数， 以减少对应风险领域的目 标内容的数量， 包括： 向目标方向调整对应风险领域的安全策略中的阈值参数， 并重新进入基于不同风险领 域的安全策略对所述 风险标签进行分析的步骤， 得到更新后的复核风险比例； 若更新后的复核风险比例大于更新前的复核风险比例， 则继续向所述目标方向调 整对 应风险领域的安全策略中的阈值 参数； 若更新后的复核风险比例小于更新前的复核风险比例， 则向所述目标方向的相反方向 调整对应风险领域的安全策略中的阈值 参数。 9.一种电子设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至8任一项所述内容审核方法的 步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至8任一项 所述内容审核 方法的步 骤。权　利　要　求　书 2/2 页 3 CN 115187104 A 3