(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211250478.0 (22)申请日 2022.10.13 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 周智恒　张明月　钟华喜　尹浩林　 邓铭　宋雨庭　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 周春丽 (51)Int.Cl. G06F 3/01(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 40/10(2022.01) G06V 40/20(2022.01) (54)发明名称 一种基于轻量型手势识别的智能控制方法 及装置 (57)摘要 本发明公开了一种基于轻量型手势识别的 智能控制方法及装置。 所述方法包括： S1、 获取手 势数据集； S2、 构建轻量型手势识别网络， 所述网 络包括基础网络结构， 多尺度结构与轻量型注意 力结构； S3、 引入预训练权重作为轻量型手势识 别网络的初始权重， 并将训练数据输入所述网络 进行重新训练； S4、 计算损失值并基于损失值反 馈至轻量型手势识别网络中并对网络进行不断 参数修正， 得到训练后的网络； S5、 利用网络来对 手势图像进行预测， 以控制家电的工作状态。 智 能控制装置包括： 树莓派控制器， 图像采集器， 红 外发射器。 本发明具有轻量化、 精度高、 易于部署 等优点， 在人机交互、 虚拟现实、 手语识别与智能 家居等领域具有巨大的应用价 值。 权利要求书2页 说明书7页 附图4页 CN 115328319 A 2022.11.11 CN 115328319 A 1.一种基于轻量型手势 识别的智能控制方法， 其特 征在于， 包括如下步骤： S1、 获取手势数据集； S2、 构建轻量型手势识别网络， 所述轻量型手势识别网络包括基础网络结构， 多尺度结 构与轻量型注意力结构， 多尺度结构用于提取不同尺度下 的手势特征信息， 轻量型注意力 结构用于处 理图像中上 下文的纹 理信息的相关性， 其中， 所述多尺度结构用表达式表示 为： 其中，Y 表示改进的空洞卷积金字塔池化模块输出的特征图； BN(·)表示批归一化； fn,m(·)表示卷积核为n*n的映射函数， m表示膨胀率； F表示输入特征图； δc(·)表示激活函 数， c表示 通道数， 表示多尺度结构最终的输出； 所述轻量型注意力结构用表达式表示 为： 其中， 与表示中间特征图；  fn (·) 表示卷积核为n*n的映射函数；  BN(·)表示 批归一化；c(·)表示激活函数， c表示通道数； 表示点乘； Mc 与Ms 分别表示通道注意力 和空间注意力， 、 分别表示通道与空间注意力的结果； 为轻量型注意力结构最后 输出结果； S3、 引入预训练权重作为轻量型手势识别网络的初始化权重， 并将训练数据输入所述 轻量型手势 识别网络进行重新训练， 输出 预测结果； S4、 将轻量型手势识别网络预测 的结果与训练数据集中的对应标签数据进行不断对 比， 计算对应的损失值； 将所述损失值反馈至轻量型手势识别网络中并对网络进行不断参 数修正， 得到训练后的轻量型手势 识别网络； S5、 利用训练后的轻量型手势识别网络来对手势图像进行预测， 以控制家用电器的工 作状态。权　利　要　求　书 1/2 页 2 CN 115328319 A 22.根据权利要求1所述的一种基于轻量型手势识别的智能控制方法， 其特征在于， 所述 基础网络包括用于提取特征信息的3*3卷积块、 用于进行下采样的2*2池化、 深度可分离系 列组、 自适应平均池化、 1*1卷积块和全连接层， 两个3*3卷积块、 2*2池化依次连接， 深度可 分离系列组、 自适应平均池化、 1*1卷积块和全 连接层依次连接， 多尺度结构设置在2*2池化 和深度可分离系列组之间， 轻量型注意力结构设置在深度可分离系列组之后。 3.根据权利要求2所述的一种基于轻量型手势识别的智能控制方法， 其特征在于， 在全 连接层前还 采用了Dropout策略。 4.根据权利要求2所述的一种基于轻量型手势识别的智能控制方法， 其特征在于， 基础 网络中的激活函数采用Hard ‑swish激活函数。 5.根据权利要求1所述的一种基于轻量型手势识别的智能控制方法， 其特征在于， 所述 多尺度结构包括改进的空洞卷积金字塔池化模块和1*1卷积块， 空洞卷积金字塔池化模块 包括采用五分支的空洞卷积， 1*1卷积块用于对空洞卷积金字塔池化模块的各分支获取 的 不同尺度的特 征图进行拼接， 以获取融合特 征信息。 6.根据权利要求5所述的一种基于轻量型手势识别的智能控制方法， 其特征在于， 空洞 卷积金字塔池化模块的五分支的空洞卷积中， 第一个空洞卷积分支采用卷积核为 1*1， 膨胀 系数设为1的卷积， 其余分支卷积核为3*3， 膨胀系数分别设为3， 6， 12， 18卷积， 对应的输出 通道数设为25 6， 128， 64， 32， 16 。 7.根据权利要求1所述的一种基于轻量型手势识别的智能控制方法， 其特征在于， 轻量 型注意力结构包括深度可分离卷积块和注意力模块， 深度可分离卷积块用于获取空间信 息， 注意力模块包括通道注意力模块和空间注意力模块， 用于 关注重要的特征， 抑制不重要 的特征。 8.根据权利要求7所述的一种基于轻量型手势识别的智能控制方法， 其特征在于， 所述 深度可分离卷积块包括5*5卷积块和1*1卷积块， 5*5卷积块用于获取上下文信息， 1*1卷积 块用于对不同通道进行融合。 9.根据权利要求1 ‑8任一所述的一种基于轻量型手势识别的智能控制方法， 其特征在 于， 步骤S4中， 采用交叉熵损失函数来获得相应的损失值， 交叉熵损失函数L 为： 其中，M表示类别的数量， k表示第k个类别；yi,k表示符号函数， 如果样本 i的真实类别等 于k时取1， 否则取0； pi,k表示观测样本 i属于类别 k的预测概 率。 10.一种基于轻量型手势 识别的智能控制装置， 其特 征在于， 包括： 树莓派控制器， 用于部署权利要求1 ‑9任一项提供的训练好的轻量型手势识别网络并 接收图像采集器采集的手势信息， 通过轻量型手势识别网络对手势信息进 行比对运算生成 能供调用的红外发射控制指令； 图像采集器， 设置在所述树莓派控制器输入端， 用于实时采集家用电器控制的手势图 像， 并将所述手势的图像信号发送给 所述树莓派控制器； 红外发射器， 用于根据红外发射控制指令进行信号发射以控制家用电器的工作状态。权　利　要　求　书 2/2 页 3 CN 115328319 A 3