A Novel Multi-task Model Imitating Dermatologists for Accurate Differential Diagnosis of Skin Diseases in Clinical Images

摘要

皮肤疾病是最常见的健康问题之一，准确的计算机辅助诊断方法对皮肤科医生和患者都至关重要。然而，大多数现有方法忽视了皮肤疾病诊断所需的基本领域知识。本文提出了一种新型多任务模型，名为DermImitFormer，通过模仿皮肤科医生的诊断程序和策略来填补这一空白。

通过多任务学习，该模型同时预测身体部位和病变属性，以及疾病本身，提高了诊断准确性并改善了诊断可解释性。设计的病变选择模块模仿了皮肤科医生的放大动作，有效突出了嘈杂背景中的局部病变特征。此外，介绍的交叉交互模块明确建模了身体部位、病变属性和疾病之间的复杂诊断推理。为了对所提出的方法进行更强健的评估，建立了一个大规模的临床皮肤疾病图像数据集，其病例数量明显多于现有数据集。在三个不同的数据集上进行的大量实验一致表明了所提方法的最先进识别性能。

方法

所提出的多任务模型DermImitFormer的架构如图2所示。它以临床图像为输入，以端到端的方式输出皮肤病、身体部位和属性的分类结果。在诊断过程中，皮肤科医生会考虑整个临床图像的局部和全局背景特征，包括形状、大小、分布、质地、位置等。为了有效地捕捉这些视觉特征，使用视觉转换器ViT作为共享主干。然后分别使用三个独立的任务特定头来预测疾病、身体部位和属性，每个头包含两个独立的 ViT 层。特别是，在特定任务的疾病和属性标题中，将每一层的提取特征分为图像特征和斑块特征。这两组特征被输入到病灶选择模块 （LSM） 中，以选择信息量最大的病灶标记。最后，将疾病、身体部位和属性的特征表示传送到交叉交互模块 （CIM），以生成更全面的表示，用于最终鉴别诊断。

实验结果