(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210889927.X (22)申请日 2022.07.27 (71)申请人 武汉轻工大 学 地址 430000 湖北省武汉市汉口常青花园 学府南路68号 (72)发明人 陈志濠　孙开琼　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 刘锡滨 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 果实计数方法、 装置、 设备及存 储介质 (57)摘要 本发明属于图像计数技术领域， 公开了一种 果实计数方法、 装置、 设备及存储介质。 该方法包 括： 获取第一果实图像； 将所述第一果实图像输 入到第一计数模型的VGG ‑16网络中， 进行多次卷 积和池化， 得到第一特征信息； 对所述第一特征 信息进行局部特征提取， 得到若干个块局部特征 信息； 将所述若干个块局部特征信息根据所述第 一特征信息进行转换以及交叉， 得到若干对比度 特征信息， 并根据所述若干对比度特征以及所述 第一特征信息， 得到第二特征信息； 将所述第二 特征信息输入到所述第一计数模型的分类网络 中， 得到所述第一果实图像中的果实数量。 通过 上述方式， 能够有效提高最终的果实计数精度。 权利要求书3页 说明书12页 附图4页 CN 115424256 A 2022.12.02 CN 115424256 A 1.一种果实计数 方法， 其特 征在于， 所述 果实计数 方法包括： 获取第一 果实图像； 将所述第一果实图像输入到第一计数模型的VGG ‑16网络中， 进行多次卷积和池化， 得 到第一特 征信息； 对所述第一特 征信息进行局部特 征提取， 得到若干个块局部特 征信息； 将所述若干个块局部特征信 息根据所述第一特征信 息进行转换以及交叉， 得到若干对 比度特征信息， 并根据所述若干对比度特 征以及所述第一特 征信息， 得到第二特 征信息； 将所述第二特征信 息输入到所述第 一计数模型的分类网络 中， 得到所述第 一果实图像 中的果实数量。 2.如权利要求1所述的方法， 其特征在于， 所述VGG ‑16网络包括依次相连的第一卷积 层、 最大池化层、 第二卷积层、 最大池化层、 第三卷积层、 最大池化层以及第四卷积层； 将所述第一果实图像输入到第一计数模型的VGG ‑16网络中进行多次卷积和池化， 得到 第一特征信息， 包括： 将所述第一果实图像依次输入到所述VGG ‑16网络的第一卷积层和最大池化层中， 输出 第一预设数量 通道的特 征信息； 将所述第一预设数量通道的特征信息依次输入到所述VGG ‑16网络的第二卷积层和最 大池化层中， 输出第二预设数量通道的特征信息， 其中， 所述第二预设数量大于所述第一预 设数量； 将所述第二预设数量通道的特征信息依次输入到所述VGG ‑16网络的第三卷积层和最 大池化层中， 输出第三预设数量通道的特征信息， 其中， 所述第三预设数量大于所述第二预 设数量； 将所述第三预设数量通道的特征信息依次输入到所述VGG ‑16网络的第四卷积层中， 输 出第四预设数量通道的特征信息， 其中， 所述第四预设数量通道的特征信息为第一特征信 息， 所述第四预设数量大于所述第三预设数量。 3.如权利要求1所述的方法， 其特征在于， 所述对所述第一特征信息进行局部特征提 取， 得到若干个块局部特 征信息， 包括： 将所述第一特征信 息依次输入到第 一平均池化层和目标卷积层， 得到第 一块局部特征 信息， 其中， 目标 卷积层为卷积核为1的卷积层； 将所述第一特征信 息依次输入到第 二平均池化层和目标卷积层中， 得到第 二块局部特 征信息； 将所述第一特征信 息依次输入到第 三平均池化层和目标卷积层中， 得到第 三块局部特 征信息。 4.如权利要求3所述的方法， 其特征在于， 所述将所述若干个块局部特征信 息根据所述 第一特征信息进行转换以及交叉， 得到若干对比度特征， 并根据所述若干对比度特征信息 以及所述第一特 征信息， 得到第二特 征信息， 包括： 将所述第一块局部特征信 息、 第二块局部特征信 息以及第 三块局部特征信 息分别输入 到上采样层中， 以将所述第一块局部特征信息、 第二块局部特征信息以及第三块局部特征 信息转换成所述第一特征信息的大小， 并得到新第一块局部特征信息、 新第二块局部特征 信息以及新第三 块局部特 征信息；权　利　要　求　书 1/3 页 2 CN 115424256 A 2分别基于所述新第 一块局部特征信 息、 新第二块局部特征信 息以及新第 三块局部特征 信息与所述第一特 征信息的差， 得到第一差值特 征、 第二差值特 征以及第三差值特 征； 确定所述第 一块局部特征信 息与所述第一差值特征的积、 所述第 二块局部特征信 息与 所述第二差值特征的积以及所述第三块局部特征信息与所述第三差值特征的积， 得到第一 对比度特 征、 第二对比度特 征以及第三对比度特 征； 将所述第一特征信息、 第一对比度特征、 第二对比度特征以及第三对比度特征进行叠 加， 得到第二特 征信息。 5.如权利要求1所述的方法， 其特征在于， 所述将所述第 一果实图像输入到第 一计数模 型的VGG‑16网络中进行多次卷积和池化之前， 还 包括： 获取第二 果实图像， 其中， 所述第二 果实图像中标注有每 个果实的真实中心点； 将所述第二 果实图像输入到第二计数模型的VG G‑16网络中， 得到第一目标 特征信息； 基于Contextual方法， 对所述第一特 征信息进行处 理， 得到第二目标 特征信息； 将所述第二目标特征信 息输入到所述第 二计数模型的分类网络中， 得到所述第 二果实 图像中的预测中心点； 基于匈牙利算法将所述预测中心点与所述真实中心点进行配对， 并建立损失函数； 基于所述损失函数 更新所述第二计数模型， 得到第一计数模型。 6.如权利要求5所述的方法， 其特征在于， 所述基于匈牙利算法将所述预测中心点与 所 述真实中心点进行配对， 并建立损失函数， 包括： 基于匈牙利算法将所述预测中心点与所述真实中心点进行配对， 得到每个果实的预测 中心点和真实中心点； 根据所述预测中心点和真实中心点确定所述第二果实图像中每个果实的欧式距离差 距； 根据所述欧式距离 差距， 建立损失函数。 7.如权利要求1至6中任一项所述的方法， 其特征在于， 所述将所述第二特征信息输入 到所述第一计数模型的分类网络中， 得到所述第一 果实图像中的果实数量， 包括： 将所述第二特征信 息输入到所述第 一计数模型的分类网络 中， 确定所述第 一果实图像 中每个像素点的概 率值； 根据所述 概率值确定所述第一 果实图像中的果实数量。 8.一种果实计数装置， 其特 征在于， 所述 果实计数装置包括： 获取模块， 用于获取第一 果实图像； 所述获取模块， 用于将所述第一果实图像输入到第一计数模型的VGG ‑16网络中进行多 次卷积和池化， 得到第一特 征信息； 所述获取模块， 用于对所述第一特征信息进行局部特征提取， 得到若干个块局部特征 信息； 所述获取模块， 用于将所述若干个块局部特征信 息根据所述第一特征信 息进行转换以 及交叉， 得到若干对比度特征信息， 并根据所述若干对比度特征以及所述第一特征信息， 得 到第二特 征信息； 计数模块， 用于将所述第二特征信息输入到所述第一计数模型的分类网络中， 得到所 述第一果实图像中的果实数量。权　利　要　求　书 2/3 页 3 CN 115424256 A 3