近日，国家基础学科公共科学数据中心（简称”国家基础数据中心“）“图像理解机器学习数据库”助力多模态数据内容协同理解研究取得重要成果。相关研究成果已通过论文“Small-sample cucumber disease identification based on multimodal self-supervised learning”发表于农林科学领域国际期刊《Crop Protection》。论文由国家基础数据中心“图像理解机器学习数据库”智能认知研究组团队完成，文中致谢如下：This work was supported by “Image Caption Machine Learning Dataset” in National Basic Science Data Center (NO. NBSDC-DB-20)。

针对农业领域中大规模有标签的作物病害数据获取难度大且成本高、单一模态获取到的特征不充分等问题，研究团队提出了一种有效的多模态自监督学习框架MMSSL用于小样本黄瓜病害识别任务，将图像自监督掩码学习、图像自监督对比学习和多模态图文对比学习结合起来共同学习。同时，改进掩码学习分支，引入交叉提示学习模块辅助掩码块重建过程。结果表明，所提出的病害识别模型MMSSL的识别准确率能达到95.00%，优于其他自监督学习模型。此外，MMSSL模型在降低训练数据规模的情况的下识别效果稳定，模型的泛化能力较好。MMSSL模型在公开数据集上取得了不错的识别效果，模型的迁移性能和鲁棒性较高。通过GradCAM进行可视化分析，所提出的MMSSL模型不仅能够学习到不同模态的病害特征信息，还能同时捕获到全局和局部的病害特征信息。

在这项工作中，“图像理解机器学习数据库”提供了IDADP数据库中的部分数据，为科研人员开展对比实验提供了基础科学数据。该项工作得到国家基础科学公共科学数据中心“图像理解机器学习数据库”和国家自然科学基金面上项目的资助，论文的通讯作者是“图像理解机器学习数据库”核心成员。

图1 模型总体框架图

图2 CAM可视化结果图

图像理解机器学习数据库由中国科学院合肥物质科学研究院承担建设，包含图像、文本、视频等语义相关联的多模态数据，旨在推动人工智能机器学习理论方法及图像理解、视觉问答、知识表示与计算推理等关键技术的研究。目前，数据库已建成农业病虫害研究图库（IDADP）和农业图像理解数据集（ICDA）两个主题库，主要包括近20种大田作物和设施蔬菜，总数据量超过1.4TB。数据库为机器学习建模相关的理论方法、关键技术与评价标准等研究提供基准数据，促进各个行业的智能化应用落地。