(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211106392.0 (22)申请日 2022.09.11 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 皮妍　安钧浩　赵雪莹　蒋科技　 (74)专利代理 机构 上海正旦专利代理有限公司 31200 专利代理师 陆飞　陆尤 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于卷积神经网络的孟德尔果蝇遗传性状 批量鉴别方法 (57)摘要 本发明属于遗传学与图像智能处理技术领 域， 具体为一种基于卷积神经网络的孟德尔果蝇 遗传性状批量鉴别方法。 本发明方法包括使用移 动端设备采集果蝇图像， 人工标注采集的果蝇定 位框、 果蝇多 性状、 果蝇结构关键点数据集； 使用 随机增强与渐进式增强方法训练模 型， 使用神经 网络量化技术使模型更适合移动端快速运行； 利 用关键点辅助分类方法， 提高长小翅任务的模型 可解释性； 将多张图像在移动端通过目标检测模 型定位图像中每个果蝇的位置， 再通过多分类模 型区分每个果蝇的长小翅、 红白眼与雌雄性状。 本发明可以极大地方便实验人员的工作， 减少人 工重复劳动， 节约大量时间并在各个性状分类任 务上超过人工分类的准确率， 起到标准化的作 用。 权利要求书2页 说明书4页 附图3页 CN 115546110 A 2022.12.30 CN 115546110 A 1.一种基于卷积神经网络的果蝇性状批量识别方法， 其特 征在于， 具体步骤为： 步骤一： 采集 果蝇图片， 进行 人工标注； 划分训练集、 验证集、 测试集； 将果蝇使用二氧化碳麻醉后， 使用移动设备相机， 在光学显微镜或解剖镜下采取包含 多个果蝇的多张图片； 经过人工标注后， 按照3:1划分训练集与验证集， 训练集与验证集由 总共28位 实验人员培养果蝇并采集果蝇图片， 共包含110张原始图片与约3206个果蝇个体； 测试集由互相隔离的6位 实验人员培养果蝇并采集果蝇图片， 以保证隔离测试的效果； 测试 集共包含9张原始图片与约405个果蝇个体； 训练集用于训练模型， 验证集用于监控训练效 果， 测试集用于验证训练好的模型的性能； 标注的内容包括果蝇定位框、 果蝇关键点、 以及 果蝇性状； 步骤二： 对果蝇图像进行 预处理， 确定果蝇 定位框坐标； 采用EfficientDet  Lite模型作为基础来实现目标检测， 具体采取不同规模的 EfficientDet  Lite模型以应对移动端不同设备的硬件条件； 输入图像通过EfficientDet   Lite模型以及适合移动端运算的全局非极大值抑制方法， 输出置信度大于50％的果蝇定位 框坐标； 根据输出 的定位框坐标， 对原图像进行裁切， 产生多个包含单个果蝇的子图像， 作 为下一步骤中深度卷积神经网络的输入； 步骤三： 构建深度卷积神经网络， 并进行训练； 所述深度卷积神经网络， 是在MobileNetV3模型基础 上构建而成， 包括去除最后的全连 接层， 并在全局平局池化层后并行地追加两个全连接的Sigmoid层， 分别对应果蝇的红白 眼、 长小翅性状； 对于长小翅的分类， 模型还使用只针对果蝇的专门设计的关键点辅助分类 模块； 在训练过程中采用随机增强与渐进式学习方法， 以提高稳定性并防止过拟合； 所述关键点辅助分类模块， 指的是在深度神经网络中， 利用关键点数据来辅助模型训 练图像分类任务； 所述关键点共有四个， 分别为果蝇的头部末端、 尾部末端以及两翅末端， 头部末端、 尾部末端的关键点通过二维坐标编码以减小模型规模； 同时为了避免模型区分 左右翅， 并减少数据中的冗余信息， 两翅末端的关键点编码方式按照以下规则， 其中(x1, y1),(x2,y2)为原 始坐标， (a,b,c,d,e)为编码后的结果： c＝|x1‑x2|， d＝|y1‑y2|， 如果(x1–x2)*(y1–y2)>0则e＝1； 否则， e＝0； 在深度卷积网络的全局平均池化层上： 使用带LeakyRelu激活函数的全连接层对头部 末端、 尾部末端关键点坐标以及上述(a,b,c,d)进行回归， 平均平方误差作为损失函数， 记 为LossKeypoints  MSE； 并行地使用带S igmoid激活函数的全连接层对上述e进行二元分类， 二元 交叉熵作为损失函数， 记为LossKeypoints  BCE； 最后， 合并所有九个关键点神经元， 再添加一个 全连接层， 并使用sigmoid函数对果蝇长小翅进行分类， 二元交叉熵作为损失函数， 记为 LossClassificati on BCE； 在训练的早期阶段， 按照以下公式进行加权计算损失： Losstotal＝LossKeypoints MSE+ ε×LossKeypoints BCE+ ε×LossClassificati on BCE， 其中， ε是一个极小值， 当关键点对应的损失函数在验证集上收敛后， 不再计算关键点 对应的损失函数， 并使用一个 较小的学习率只对长小翅分类 器进行训练； 步骤四： 重复步骤三， 直到验证集上的指标达 到最优后停止训练； 步骤五： 为了增加模型推理速度并减小模型体积， 采用神经网络量化技术， 对于目标检权　利　要　求　书 1/2 页 2 CN 115546110 A 2测模型使用动态量化， 对于分类模型采用浮点数优化， 并通过TFLite接口在移动端实现快 速推理。 2.根据权利要求1所述的基于卷积神经网络的果蝇性状批量识别方法， 其特征在于， 步 骤三中， 所述的随机增强方法， 是一种用于深度学习的图像增强方法； 包含两个重要指标： N 与M； N是指采用的增强方法的数量， M是指采用的增强方法的强度； 具体步骤为： 在(N/2,N) 的范围内随机取一个数值作为选取的方法数K； 在设定好的增强方法集合中随机选取K种方 法， 方法集合包括 Jpeg压缩、 卷积操作、 边缘检测、 模糊化、 叠加式噪声、 像素覆盖式噪声、 区 域覆盖式噪声、 通道反转、 对比度、 亮度、 饱和度、 色调、 几何变换、 直方图变换以及超像素变 换； 按照随机选出 的方法集合， 根据M值给定的强度， 依次采用对应的增强方法对图像进行 操作， 最终输出增强后的图像， 用于神经网络训练。 3.根据权利要求2所述的基于卷积神经网络的果蝇性状批量识别方法， 其特征在于， 步 骤三中， 所述分类网络模型训练过程， 采用渐进式学习方法与所述的随机增强方法； 训练采 用一种适应性的正则化策略， 具体包括： 训练分为8 0个阶段， 每5次迭代进入下一个阶段； 在 80个阶段中， 线性地增加所述的随机增强方法中的N值与M值， 其中N值由6增加至8， M值由60 增加至100； 在80个阶段中， 线性地调整输入图像的分辨率， 从64*64增加至224*224； 在每个 分类器前添加Dropout层， 其中Dropout比例为0.5 。权　利　要　求　书 2/2 页 3 CN 115546110 A 3