【医学大模型】MEDDM LLM-Executable CGT 结构化医学知识: 将临床指导树结构化，便于LLM理解和应用-编程知识

MEDDM LLM-Executable CGT 结构化医学知识: 将临床指导树结构化，便于LLM理解和应用

提出背景
对比传统医学大模型
流程步骤
临床指导树
流程图识别
临床决策支持系统

总结
解决方案设计
数据收集与处理
系统实施
临床决策支持

提出背景

论文：https://arxiv.org/pdf/2312.02441.pdf

现有的大型语言模型（LLM）在临床决策支持方面缺乏专业化和结构化的决策路径，无法进行深度的医学诊断推理。

因为LLM通常设计为通用的问答模型，而不是为特定的领域如医学诊断定制的，它们缺少能够理解和遵循临床实践中使用的详细决策树的能力。

医学决策通常非常复杂，涉及多个变量和条件的判断，需要丰富的医学知识和经验，而这些是传统LLM不具备的。

当前的医学LLMs无法通过多轮询问获取完整信息，从而无法提供具体的医疗建议，而是仅仅像一个医学问答系统一样询问一些常见症状并给出一般性回应。

在传统的LLMs系统中，可能只能提供一些基本的建议或通用的信息，如建议患者休息和多喝水，或提示可能需要看医生，但缺乏深入分析和个性化的诊断建议。

解法：LLM-Executable Clinical Guidance Tree (CGT)。

特征1：使用自然语言表示树节点的决策树结构，允许LLM执行CGT上的推理，从而生成更可信的医疗响应。
特征2：构建医学诊断决策制定数据集（MedDM），通过从临床实践指南中的流程图转换而来。
特征3：采用先进的图像处理和文本识别技术，如Faster R-CNN和CnOCR，来识别流程图中的基本结构和文本内容。
特征4：提出一个决策检索基础的生成框架来处理医学决策知识。

完整流程：

构建决策树（CGT）：首先，通过自然语言表示法构建一个可以由LLM执行的临床指导树，使LLM能够理解并遵循医疗决策过程。
数据集构建（MedDM）：然后，通过从医学指南中提取流程图并转换为CGT格式，创建一个专门的医学诊断决策数据集。
图像和文本处理：使用图像识别和文本识别技术来精确地识别和解析流程图中的信息，确保数据集的准确性和可用性。
决策检索与生成：最后，通过决策检索基础的生成框架，利用CGT和MedDM数据集来生成针对具体医疗询问的专业化响应。

通过结合结构化的决策树和丰富的医学知识数据集，提高LLMs在医学诊断和咨询中的性能和准确性。

假设有一位患者向医学LLM（如ChatGPT）咨询关于持续性咳嗽和呼吸困难的症状。

初步询问：
- LLM通过CGT开始询问患者具体症状的细节，例如咳嗽的性质（干咳或湿咳）、持续时间、伴随症状（如发热、胸痛）、以往医疗历史等。
症状分析：
- 根据患者的回答，LLM利用MedDM数据集中的信息，通过决策树结构定位到具体的诊断路径。
- 例如，如果患者描述了伴随发热和持续性干咳，LLM可能会考虑流感、COVID-19或其他呼吸道感染的可能性。
进一步的诊断建议：
- 接下来，LLM会根据CGT的指导，提出进一步的检查建议，如建议患者进行肺部X光检查或血液检测，以排除或确认某些疾病的可能性。
个性化建议：
- 根据所有收集的信息和分析结果，LLM会提供个性化的建议，例如建议患者就近访问专业的呼吸系统疾病医生，同时提供一些即时缓解症状的建议，比如使用蒸汽吸入或特定的药物（前提是在专业医疗人员指导下）。

从收集症状细节开始，到利用决策树进行深入分析，再到提出进一步诊断和个性化建议的过程，展示了一个从初步询问到专业化建议的连续流程。

CGT为LLM提供了一个明确的决策路径，而MedDM数据集则为这一路径提供了必要的医学知识支持，使得LLM能够根据具体的医学信息生成更准确、个性化的回应，从而解决了传统LLMs在医学诊断场景中专业化不足的问题。

对比传统医学大模型

克服传统医学大模型在深度、互动性和个性化医疗建议提供方面的限制。

传统医学大模型：通常侧重于从大量医学文献、临床案例和指南中学习，以生成响应或提供诊断。

这些模型可能缺乏针对特定临床决策路径的明确结构化指导。

MEDDM:LLM-Executable CGT：结合了决策树的结构化表示和大型语言模型（LLM）的自然语言处理能力。

它通过具体的、预定义的临床指导路径（CGT）来引导诊断和治疗决策过程，使得LLM能够在医疗咨询中进行更加结构化和深入的推理。

传统医学大模型：更多地依赖单次输入输出的交互模式，缺乏深入的对话式询问过程，因而在提供个性化诊断和治疗建议方面可能不如CGT结构化方法有效。

MEDDM:LLM-Executable CGT：提供了一种更加互动的咨询体验，通过多轮对话收集症状信息，基于决策树逐步缩小诊断范围，并给出个性化建议。这种方法模拟了医生与患者之间的实际交互。

MEDDM:LLM-Executable CGT：通过结构化的决策树直接引入了临床实践中的决策逻辑，使得模型能够更精确地模拟医生的诊断思维过程，提供针对特定情况的深度分析和建议。

传统医学大模型：虽然能够访问广泛的医学知识，但在没有明确决策路径的指导下，其推理和建议的深度可能受限，难以达到CGT方法的个性化和精确度。

MEDDM:LLM-Executable CGT：其设计允许快速适应新的指南和治疗建议，通过更新CGT可以轻松集成最新的医学知识和临床实践。

传统医学大模型：虽然更新医学知识库可以提高模型的准确性和相关性，但在没有结构化决策支持的情况下，适应新的临床指南和实践可能需要更复杂的模型重新训练。

流程步骤

临床指导树：利用文本基的表示方法定义指导树，以改进医学实践中的决策树。
流程图识别：将流程图识别分为手写识别和机器生成识别两大类，专注于机器生成的流程图识别。
临床决策支持系统：为医生提供病人咨询时的指导和建议。

解法1（临床指导树）：
- 特征1：基于医学专家规则和医学文献提取的Text2DT数据集构建，采用二叉树表示，节点信息以三元组形式表示。
解法2（流程图识别）：
- 特征1：区分文本识别和图形识别两个任务，分别训练模型进行检测。
- 特征2：提出基于变换器架构的多任务模型，实现文本和图形的同时识别，实现端到端的流程图识别。
解法3（临床决策支持系统）：
- 特征1：基于临床指南开发的规则引擎，用于管理慢性病。
- 特征2：利用分组的电子病历数据提供个性化治疗，展示在实际案例中的有效性。
- 特征3：结合临床指南和电子病历数据，构建嵌套决策树，为患者提供分组和治疗建议。

假设一个场景，其中一个医生需要对患有慢性病的病人进行诊断和治疗建议：

临床指导树：医生首先利用临床指导树进行初步判断，该树基于专家规则和医学文献，为医生提供一个结构化的诊断流程。
流程图识别：通过机器生成的流程图识别，医生能够快速理解复杂的诊断流程和治疗指南，尤其是在处理电子PDF格式的医学文献时。
临床决策支持系统：结合患者的电子病历数据和临床指南，医生使用临床决策支持系统对病人进行个性化的治疗建议，利用规则引擎管理慢性病，并根据嵌套决策树进行更细致的分组和治疗建议。

在整个过程中，医生通过这些技术特征的相互作用，能够更系统、高效地进行诊断和制定治疗计划，这些技术特征之间形成了一个互补和增强的网络，而不是简单的顺序链条。

属于哪个部分临床决策支持系统、流程图识别、临床指导树

临床指导树

在这里插入图片描述

以呼吸困难（气促）为主诉的差异诊断临床指导树。

说明了一个决策流程图，从根症状（气促）开始，分支到条件节点（如“你有发热吗？”或“你胸部感到疼痛吗？”），根据患者的回答指向动作节点，这些节点提出了可能的诊断。

流程图识别

如何收集和构建医学诊断决策制定数据集（MedDM），包括从医学书籍、治疗指南和其他医学文献中收集临床指导树的方法。

涉及三个步骤：收集医学文献并筛选出流程图、识别流程图中的基本形状、连接线和文字，并将它们重构为流程图，以及对流程图识别结果进行人工验证。

特征1（医学文献收集和流程图选择）：
- 收集约5,000本发布的权威医学教科书、治疗指南和专家共识文档。
- 使用PyMuPDF工具和PaddleOCR的布局分析算法自动捕获医学文献中的所有流程图，获取约100,000张图片，经过筛选，得到约2,200张流程图。
- 通过一组选择标准，最终得到大约1,202张高质量流程图。

在这里插入图片描述
从医学书籍中筛选和识别流程图的整体框架。

它概述了收集书籍的过程，使用布局分析过滤掉非流程图内容，预检测过滤，手动筛选，以及流程图识别的步骤，如形状检测，轮廓检测，以及将文本与图形合并以重构流程图。

特征2（流程图识别管道）：
- 形状检测：使用Faster R-CNN模型识别流程图中的基本形状，如处理、决策、开始/结束、扫描和箭头，并检测它们的位置、边界框和分类。
- 连接线识别：使用OpenCV的轮廓检测和DBSCAN聚类算法识别每个连接线的起点和终点。
- 文字识别：使用CnOCR模型识别基本形状中的文本信息。
- 节点整合：将每个形状及其对应的文本合并为一个节点，并分析节点之间的连接，以重构完整的流程图。

特征1和特征2是关于流程图识别的部分。

从医学文献中收集流程图的过程以及如何将这些流程图转换为可以被LLM执行的临床指导树（CGT）。

特征1 涉及的是数据收集阶段，这是构建LLM可执行的CGT之前的准备工作，包括从医学文献中提取相关的流程图信息。
特征2 描述了流程图识别和处理阶段，这是数据处理的一部分，旨在从提取的图像中识别和构建用于LLM的结构化决策支持信息。

两者共同为构建LLM可用的临床决策支持系统提供了必要的数据和预处理步骤，但它们直接关联的是流程图的识别和数字化处理，而不是最终的临床决策支持系统或CGT本身。

临床决策支持系统会使用这些经过识别和处理的流程图数据来帮助决策。

医学文献收集：首先从各种医学领域收集约5,000本权威文献，包括急诊医学、内科、外科等，涵盖了胃癌、肺炎、糖尿病等多种疾病的治疗指南。
流程图自动捕获：通过PyMuPDF和PaddleOCR技术自动转换文献页面为图片，并从中提取出流程图。通过预训练的Faster R-CNN模型筛选出含有基本流程图形状的图片，最终得到约2,200张流程图。
流程图选择：一组五名研究生根据一组标准审查每张流程图，确保它们从疾病或症状开始，以诊断的疾病或治疗计划结束，过程详尽、清晰易懂，最终选出约1,202张高质量流程图。
流程图识别管道：利用Faster R-CNN模型进行形状检测，OpenCV和DBSCAN进行连接线识别，CnOCR进行文字识别，最后将检测到的形状、文字和连接线整合成节点和边，重构为完整的流程图。

这个链条清晰展示了从收集、筛选到重构流程图。

整个过程，每一步都为下一步提供了必要的基础，最终构建了一个可用于LLM执行的医学诊断决策制定数据集（MedDM）。