(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210624394.2 (22)申请日 2022.06.02 (71)申请人 咪咕文化科技有限公司 地址 100032 北京市西城区华远街1 1号 申请人 中国移动通信集团有限公司 (72)发明人 邱玉华　周效军　 (74)专利代理 机构 北京银龙知识产权代理有限 公司 11243 专利代理师 欧文芳 (51)Int.Cl. H04N 21/472(2011.01) H04N 21/4788(2011.01) H04N 21/439(2011.01) H04N 21/44(2011.01) H04N 21/435(2011.01)G10L 17/00(2013.01) G06V 40/20(2022.01) G06V 40/16(2022.01) G06V 10/46(2022.01) G06V 10/44(2022.01) G06V 10/34(2022.01) G06F 3/01(2006.01) (54)发明名称 一种观影互动方法、 装置及计算机可读存储 介质 (57)摘要 本申请公开了一种观影互动方法、 装置及计 算机可读存储介质， 涉及信息技术领域， 以解决 现有观影互动方式较为单一， 趣味性较差的问 题。 该方法包括： 在用户观看目标视频的过程中， 获取用户图像； 识别所述用户图像中的目标对象 的姿态； 基于所述目标对象的姿态， 确定所述目 标视频中的目标角色的回应姿态； 基于所述目标 对象的目标部位的姿态， 对所述目标角色的目标 部位的回应姿态进行调整； 基于调整后的所述目 标角色的目标部位的回应姿态， 在所述目标视频 的视频画面中显示所述目标角色的回应姿态。 这 样， 用户可以与视频中角色进行互动， 使得互动 方式不限于弹幕， 增 加了互动的趣味性。 权利要求书4页 说明书15页 附图5页 CN 114900738 A 2022.08.12 CN 114900738 A 1.一种观影互动方法， 其特 征在于， 包括： 在用户观看目标视频的过程中， 获取用户图像； 识别所述用户图像中的目标对象的姿态； 基于所述目标对象的姿态， 确定所述目标视频中的目标角色的回应姿态； 基于所述目标对象的目标部位的姿态， 对所述目标角色的目标部位的回应姿态进行调 整； 基于调整后的所述目标角色的目标部位的回应姿态， 在所述目标视频的视频画面中显 示所述目标角色的回应姿态。 2.根据权利要求1所述的方法， 其特征在于， 所述识别所述用户图像中的目标对象的姿 态， 包括： 通过目标检测算法识别所述用户图像中的目标对象； 构建所述目标对象的骨骼模型； 基于所述目标对象的骨骼模型， 确定所述目标对象的姿态； 所述基于所述目标对象的姿态， 确定所述目标视频中的目标角色的回应姿态之后， 所 述方法还 包括： 获取所述目标视频中的目标角色的骨骼模型； 对所述目标对象的骨骼模型与所述目标角色的骨骼模型进行骨骼关键点匹配， 以调整 所述目标角色的回应姿态。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标对象的目标部位的姿 态， 对所述目标角色的目标部位的回应姿态进行调整， 包括： 确定包围所述目标对象的目标部位的三维模型的第一 最小外接球； 确定包围所述目标角色的目标部位的三维模型的第二 最小外接球； 根据所述第 一最小外接球的球心位置， 将所述第 一最小外接球投影到所述目标视频的 视频画面中； 根据所述第 一最小外接球投影在所述视频画面中的位置， 对所述第 二最小外接球的位 置进行调整； 根据调整后的所述第二最小外接球的位置， 调整所述目标角色的目标部位的回应姿 态。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述第 一最小外接球投影在所述 视频画面中的位置， 对所述第二 最小外接球的位置进行调整， 包括： 根据所述第 一最小外接球投影在所述视频画面中的球心位置， 调整所述第 二最小外接 球的球心位置； 根据所述目标角色的目标部位的三维模型中任两点间的夹角关系， 确定所述目标角色 的目标部位中各点的位置； 所述根据调 整后的所述第 二最小外接球的位置， 调整所述目标角色的目标部位的回应 姿态， 包括： 根据调整后的所述第 二最小外接球的球心位置， 以及所述目标角色的目标部位中各点 的位置， 调整所述目标角色的目标部位的回应姿态。 5.根据权利要求1所述的方法， 其特 征在于， 所述目标部位 为手部；权　利　要　求　书 1/4 页 2 CN 114900738 A 2所述基于所述目标对象的目标部位的姿态， 对所述目标角色的目标部位的回应姿态进 行调整， 包括： 以所述目标对象的手部的第一手掌根节点为原点建立三维坐标系， 其中， 所述目标对 象的手部包括大拇指关节点、 食指关节点、 中指关节点、 无名指关节点和小指关节点； 计算第一空间角、 第二空间角、 第三空间角和第四空间角； 其中， 所述第一空间角是以 所述第一手掌根节点为顶点且以第一线段和 第二线段为边的空间夹角， 所述第二空间角是 以所述第一手掌根节 点为顶点且以所述第二线段和 第三线段为边的空间夹角， 所述第三空 间角是以所述第一手掌根节点为顶点且以所述第三线段和 第四线段为边的空间夹角， 所述 第四空间角是以所述第一手掌根节点为顶点且以所述第四线段和第 五线段为边的空间夹 角； 所述第一线段为所述第一手掌根节点与相邻的大拇指关节点的线段， 所述第二线段为 所述第一手掌根节点与相 邻的食指关节点的线段， 所述第三线段为所述第一手掌根节点与 相邻的中指关节点的线段， 所述第四线段为所述第一手掌根节点与相 邻的无名指关节点的 线段， 所述第五线段为所述第一手掌根节点与相邻的小指关节点的线段； 计算第一线面空间角、 第 二线面空间角、 第三线面空间角、 第四线面空间角和第五线面 空间角； 其中， 所述第一线面空间角是以所述 目标对象的手部的大拇指关节点所在线段与 第一面的空间夹角， 所述第二线面空间角是以所述目标对象的手部的食指关节点所在线段 与所述第一面的空间夹角， 所述第三线面空间角是以所述目标对象的手部的中指关节点所 在线段与所述第一面的空间夹角， 所述第四线面空间角是以所述目标对象的手部的无名指 关节点所在线段与所述第一面的空间夹角， 所述第五线面空间角是以所述目标对象的手部 的小指关节点所在线段与所述第一面的空间夹角； 所述第一面为所述三 维坐标系中z轴和y 轴所构成的平面； 根据所述第一空间角、 第 二空间角、 第三空间角和第四空间角， 以及所述第 一线面空间 角、 第二线面空间角、 第三线面空间角、 第四线面空间角和第五线面空间角， 调整所述目标 角色的手部的大拇指关节点、 食指关节点、 中指关节点、 无名指关节点和小指关节点的位 置。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述第 一空间角、 第 二空间角、 第 三空间角和第四空间角， 以及所述第一线面空间角、 第二线面空间角、 第三线面空间角、 第 四线面空间角和第五线面空间角， 调整 所述目标角色的手部的大拇指关节点、 食指关节点、 中指关节点、 无名指关节点和小指关节点的位置， 包括： 令第五空间角等于所述第一空间角， 第六空间角等于所述第二空间角， 第七空间角等 于所述第三空间角， 第八空间角等于所述第四空间角， 调整所述 目标角色的手部的第一大 拇指关节点、 第一食指关节点、 第一中指关节点、 第一无名指关节点和第一小指关节点的位 置； 令第六线面空间角等于所述第 一线面空间角， 第七线面空间角等于所述第 二线面空间 角， 第八线面空间角等于所述第三线面空间角， 第九线面空间角等于所述第四线面空间角， 第十线面空间角等于所述第五线面空间角， 调整 所述目标角色的手部的除所述第一大拇指 关节点外的其他大拇指关节点、 除所述第一食指关节点外的其他食指关节点、 除所述第一 中指关节点外的其他中指关节点、 除所述第一无名指关节点外的其他无名指关节点和除所 述第一小指关节点外的其 他小指关节点的位置；权　利　要　求　书 2/4 页 3 CN 114900738 A 3