科技前沿 ∣ 华南农大基于多模态深度学习的果树病害治理决策可视化问答模型应用前景良好

据植物科学前沿网2023年1月5日报道，华南农业大学的研究人员开发出一种基于多模态深度学习的果树病害治理决策可视化问答模型。该模型融合了图像和病害治理知识，通过回答果树病害图像的相关问题来寻找病害区域，准确率高达86.36%，优于现有的多模态方法。该技术解决了单一源数据无法提取详细的果树病害信息的问题，为果树病害的精准识别和治理决策提供可靠依据，有效地帮助农民和企业进行病害治理。

该模型主要分为4个模块：图像特征提取、问题特征提取、具有注意机制的特征融合和双线性融合模型。首先生成图像-问题-答案三元组的数据集，包括近地面图像、无人机遥感图像和荔枝、龙眼、葡萄等果树的问答文本。通过残差网络ResNet-152提取图像特征，通过跳跃思维和预训练的Bert（Bidirectional Encoder Representations from Transformer）模型提取问题特征。开发具有深度网络架构的共同注意力模型，以获得更丰富的特征参数。该模型还能够对图像和问题特征进行精细的识别，在智能农业领域有良好的应用前景。