摘要
中医药（TCM）处方是中医药治疗的基本组成部分，通过评估患者症状并开处草药混合物来制定。准确的处方生成对于提高治疗效果和维护患者安全至关重要。然而，基于大型语言模型（LLMs）的传统方法主要关注症状信息，忽略了其他中医药诊断专业知识，如舌诊和脉诊，并且容易出现幻觉，这在医学应用中是不可接受的。为了应对这些挑战，本文提出了一种有效的处方生成模型，该模型通过一个中医药知识图谱（KG）得到增强，称为TCM-KLLaMA模型。在该模型中，中国-LLaMA2-7 B模型配备了一个新的输出层和损失函数，以抑制幻觉并提高推荐准确性。一个包含症状、舌诊和脉诊的传统中医（TCM）知识图谱被开发出来，并且该模型通过使用建议的同义词和匹配知识注入（SMKI）机制进行了微调。广泛的实验表明，TCM-KLLaMA在精确度和F1分数上均优于基线模型，证明了其在处方生成任务中的卓越性能。
核心速览
研究背景
- 研究问题
：这篇文章要解决的问题是如何利用知识图谱（Knowledge Graph, KG）和大语言模型（Large Language Model, LLM）生成准确的传统中医（Traditional Chinese Medicine, TCM）处方。传统中医处方是中医治疗的基本组成部分，通过评估患者症状并开出草药混合物来制定。准确的处方生成对于提高治疗效果和维护患者安全至关重要。 - 研究难点
：该问题的研究难点包括：
- 现有基于LLM的方法主要关注症状信息，忽略了其他中医诊断专业知识（如舌诊和脉诊），容易导致生成不准确的信息。
- 在将知识从KG注入文本表示或模型时，由于语言的多样性和复杂性，输入文本中的症状描述可能与KG中的实体同义，导致精确匹配失败，限制了知识注入的效果。
- 基于LLM生成中药处方时可能会出现幻觉现象，即输出与输入数据无关或事实上不准确的信息，这在医学应用中是不可接受的。
- 相关工作
：该问题的研究相关工作有：
- 早期基于主题模型的处方生成方法。
- 借鉴端到端模型的草药处方生成方法。
- 利用LLM进行中医药处方生成的研究，主要通过微调预训练模型来实现。
研究方法
这篇论文提出了一个基于TCM KG和LLM的处方生成模型，称为TCM-KLLaMA模型，用于解决上述问题。具体来说，
- 数据处理层：
- 知识层：从TCM KG中提取相关信息，并通过同义词和匹配知识注入（SMKI）机制注入到输入症状中。具体来说，构建一个统一的实体-关系索引表，通过相似性匹配实现高效的知识检索和注入。
- 嵌入层：将增强后的句子转换为嵌入表示，以便输入到Transformer中。嵌入表示包括Token Embedding、Position Embedding和Segment Embedding，分别捕捉词汇的语义信息、位置信息和不同信息源之间的区分。
- 输出层：构建一个新的输出层，将条件语言生成任务转化为分类任务。具体来说，使用线性变换层和sigmoid函数，将模型输出表示为每个草药成分的概率。最终处方通过设置阈值γ，包含预测概率大于γ的草药成分。
实验设计
- 数据收集
：实验采用了一个公开可用的基准数据集，包含98,334个症状-处方对，经过清洗后剩余33,765个症状-处方对，共包含390种症状和811种草药。 - 实验设置
：实验在4090D GPU上进行，采用Chinese-LLaMA2-7B模型作为基础模型，使用LoRA技术减少计算资源消耗。数据集随机分为训练集、验证集和测试集，比例为8:1:1。 - 对比模型
：为了验证TCM-KLLaMA模型的有效性，将其与以下基线模型进行比较：
- PTM：基于症状的主题模型。
- KGETM：结合主题建模和KG嵌入技术。
- KDHR：基于图卷积网络的草药KG。
- GNN-LLM：结合GCN和LLM的模型。
- MVCL：基于多级语义对比学习的模型。
结果与分析
- 整体性能：TCM-KLLaMA模型在精度、召回率和F1评分上均优于基线模型。具体来说，TCM-KLLaMA模型的F1评分为0.263，比最佳基线模型高出近3%。
- 参数分析：通过调整输出层的阈值γ，控制最终处方中包含的草药成分数量。实验表明，当γ在0.15-0.16范围内时，F1评分达到峰值0.263，表明模型在消除无关草药和保留真正需要的草药之间达到了最佳平衡。
- 消融研究：通过消融实验验证了SMKI方法和新的输出层设计的有效性。结果表明，TCM-KLLaMA模型在精度、召回率和F1评分上均显著优于不包含这些改进的基线模型。
- 案例研究：通过两个测试集案例展示了TCM-KLLaMA模型能够提供医学上合理的草药推荐。例如，对于症状“舌干、潮热、咳嗽”，TCM-KLLaMA推荐的草药如知母、玄参、杏仁等与参考处方高度一致。
总体结论
本文提出了一种基于TCM KG和LLM的智能中药处方生成模型TCM-KLLaMA，通过新的输出层和SMKI机制有效减少了幻觉现象，提高了处方生成的准确性。实验结果表明，TCM-KLLaMA模型在精度和F1评分上均优于现有模型，能够辅助中医医师实现有效和高效的药物推荐。未来的研究方向包括多模态建模、引入药物相互作用数据、扩展数据集以及在临床场景中的进一步验证和优化。
论文评价
优点与创新
- 构建了包含症状、舌象和脉象等信息的中医药知识图谱（KG），并通过提出的同义词和匹配知识注入（SMKI）机制增强了模型的生成能力。
- 改进了大型模型的输出层和训练损失函数，有效抑制了在药物推荐过程中生成无关或错误信息的现象，验证了大型模型在生成中医药处方任务中的强大能力。
- 通过广泛的实验验证了TCM-KLLaMA模型在中医药处方生成任务中的有效性，并在精度和F1分数上优于现有的相关模型。
- SMKI机制能够稳健地处理同义词症状，提高了知识注入的覆盖率和适应性。
- 新设计的输出层将条件语言生成任务转化为分类任务，严格限制了推荐范围，消除了幻觉现象。
- 模块化架构允许无缝集成新的诊断方式，增强了模型的灵活性和扩展性。
不足与反思
- 尽管SMKI机制缓解了同义词匹配的问题，但在症状描述极其相似的情况下仍存在误分类的风险。
- 模型主要依赖于公开可用的“中医药处方词典”数据集，其在低频症状上的泛化能力需要进一步在更大规模的数据集上进行验证。
- 在临床应用中，模型应与传统中医医师的专业判断结合使用，目前仅作为辅助工具。
- 未来工作方向包括：结合图像和文本的多模态建模，以进一步提高处方推荐的准确性；将药物相互作用数据整合到KG中，以指导模型提供更安全的药物推荐；利用更大和更多样化的数据集来提高模型的泛化能力，特别是针对低频症状；与中医医师合作，在真实世界临床场景中进一步验证和优化模型。
关键问题及回答
问题1：TCM-KLLaMA模型在处理同义词和知识注入方面有哪些创新？
TCM-KLLaMA模型提出了一种新的同义词和匹配知识注入（SMKI）机制，用于解决在将知识从知识图谱（KG）注入文本表示或模型时出现的精确匹配失败问题。具体来说，SMKI机制通过构建一个统一的实体-关系索引表，结合同义词词典和相似性匹配，实现了高效的知识检索和注入。这种机制不仅提高了知识注入的覆盖率，还显著提升了模型在处理复杂输入时的适应性和准确性。
问题2：TCM-KLLaMA模型的新输出层设计是如何解决幻觉现象的？
TCM-KLLaMA模型通过引入一个新的输出层设计来解决基于大型语言模型（LLM）生成中药处方时可能出现的幻觉现象。具体来说，新输出层将条件语言生成任务转化为分类任务，使用线性变换层和sigmoid函数，将模型输出表示为每个草药成分的概率。最终处方通过设置阈值γ，只包含预测概率大于γ的草药成分。这种设计有效地限制了模型的输出范围，防止了模型生成无关或错误的信息，从而提高了处方的准确性和可靠性。
问题3：TCM-KLLaMA模型在实验中表现如何，与其他基线模型相比有哪些优势？
TCM-KLLaMA模型在实验中表现出色，显著优于多个基线模型。具体来说，TCM-KLLaMA模型在精度、召回率和F1评分上均优于基线模型。其F1评分为0.263，比最佳基线模型高出近3%。此外，通过调整输出层的阈值γ，模型能够在消除无关草药和保留真正需要的草药之间达到最佳平衡，进一步提升了整体性能。消融实验也验证了SMKI方法和新的输出层设计的有效性，表明这些改进显著提高了模型的精度和召回率。
