Method Article

循证知识综合和假设验证： 通过 可解释的 AI 和代理系统导航生物医学知识库

DOI:

10.3791/67525

⸱

June 13th, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department of Physiology, UCLA School of Medicine, 2Scalable Analytics Institute (ScAi) at Department of Computer Science, UCLA School of Engineering, 3Medical Informatics, University of California at Los Angeles (UCLA), 4Department of Medicine (Cardiology), UCLA School of Medicine

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本文介绍了 RUGGED （Retrieval Under Graph-Guided Explainable disease Distinction），它将大型语言模型 （LLM） 推理与检索增强生成 （RAG） 集成在一起。它从专家策划的生物医学知识库和同行评审的生物医学出版物中汲取证据，从最新信息中综合新知识，确定可解释和可作的预测，并为假设驱动的调查确定有希望的方向。

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

生物医学知识的规模（涵盖科学文献和精选知识库）对研究人员在有效处理、评估和解释结果方面构成了重大挑战。大型语言模型 （LLM） 已成为驾驭这种复杂知识领域的强大工具，但可能会产生幻觉反应。检索增强生成 （RAG） 对于识别相关信息以提高准确性和可靠性至关重要。该协议引入了 RUGGED （Retrieval Under Graph-Guided Explainable disease Distinction），这是一个全面的工作流程，旨在支持知识整合、减少偏差以及探索和验证新的研究方向。通过文本挖掘关联分析和可解释的图形预测模型，对出版物和知识库中的生物医学信息进行综合和分析，以揭示潜在的药物-疾病关系。这些发现以及源文本语料库和知识库被整合到一个框架中，该框架采用 RAG 增强的 LLM，使用户能够探索假设并研究潜在机制。一个临床用例展示了 RUGGED 在评估和推荐致心律失常性心肌病 （ACM） 和扩张型心肌病 （DCM） 疗法、分析分子相互作用处方药和潜在新应用方面的能力。该平台减少了 LLM 幻觉，突出了可作的见解，并简化了新疗法的研究。

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

生物医学企业中的假设探索过程对于揭示发病机制背后的新型分子-药物-疾病相互依存关系和释放治疗潜力至关重要 1,2。这个过程从现有的生物医学知识中汲取证据，根据嵌入在同行评审文献中的逻辑线索（例如，来自 PubMed 的 >36 份报告）综合新发现，并整合植根于生物医学知识库中的高置信度精选证据。最近的进展通过在文学语料库 3,4,5 上应用文本挖掘以及采用基于图的分析 6,7,8,9 来综合相关信息并发现新的调查途径，从而减少了费力的手动工作。尽管做出了这些努力，但由于数据分散，当前方法通常不支持深入的上下文理解。此外，他们缺乏得出基于证据的推论和交互式探索新假设的能力。

大型语言模型 （LLM） 的最新发展为这些挑战提供了新的视角，通过跨多个学科的大量信息训练展示了高水平的上下文理解 10,11,12。在生物医学领域，LLM 在提取患者信息13 和一般临床问答 14,15 方面显示出有前途的作用，而在特定领域的问答16 和初级临床保健17 中的实用程序中的应用仍有待探索。这些模型表现出从复杂数据集中推理和得出推理的能力，使其可能适合进行假设探索和知识综合。此外，一些模型具有类似聊天的交互功能，以吸引用户并支持对主题的动态探索，超越了基于查询的搜索引擎和知识库的传统界限18,19。

除了这些可能性之外，LLM 还面临着重大挑战，例如可能出现信息幻觉、对可能不准确的解释表现出不必要的信心、缺乏可解释性以及容易受到有偏见或不适当的内容的影响 20,21,22,23,24.直接应用于指导临床决策，LLM 衍生的反应和预测具有很高的风险;任何错误都可能导致昂贵的实验室实验或对患者的健康轨迹产生负面影响25,26。因此，可靠和值得信赖的 LLM 回应至关重要，因为他们的建议必须牢牢植根于证据。在这些情况下，可解释性不是一种奢侈品，而是理解这些模型为什么会做出预测的必要条件。

为此，检索增强生成 （RAG） 是一个旨在最大限度地减少 LLM 幻觉的系统，将 LLM 反应建立在证据的基础上，以提高其准确性和可靠性27,28。这种方法通常涉及检索相关的文本段落，例如将 LLM（例如 ChatGPT）与 PubMed 集成，从而允许识别用户查询的相关引文29,30。不限于文本，知识图谱 （KG） 上的检索有望应用于 LLM 完成事实核查31、32、33、透明推理34、35、36、编码知识37、改进问答38 和完成知识图谱 39 等任务.通过对来自经过验证的来源的事实信息进行编码，KG 提高了 LLM 回答的准确性、透明度和可靠性。这些图表中的链接预测技术利用深度学习来识别分子、药物和疾病之间以前隐藏的关系 5,40,41。可解释 AI 预测的最新进展进一步提高了这些链接预测任务的透明度和可解释性，为解释生物医学假设作为可行的调查途径提供了潜在支持42,43,44。这些进步确保了 LLM 生成的反应是平衡的并从证据中得出的，从而显着提高了它们在生物医学企业中的适用性。

该协议将 RUGGED （Retrieval Under Graph-Guided Explainable disease Distinction） 作为一种可访问且高效的工作流程，用于探索和验证临床治疗见解（图 1）。该工作流程协议利用生物医学文献和知识库的大量资源来提取和验证相关信息，从而实现查询定制的检索过程（图 2）。采用可解释的人工智能预测模型从现有的生物医学知识中发现可解释和可作的见解，从而提高预测模型的透明度和实用性。完整的工作流程通过支持 RAG 的 LLM 简化了对知识图谱和模型预测的探索，为研究人员、临床医生和临床专业人员提供了直观和明智的交互。

本节为协议奠定了基础，下一节将介绍实施此方法的步骤。接下来，展示了一个转化临床用例来演示这种方法，应用于药物的分子相互作用评估以及心血管医学的治疗策略。最后，讨论了该协议的含义和讨论。

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

该协议是在 Python 3.10 中开发的，并在 Windows 中作为 Docker 容器实现。提供的命令基于 Docker 容器中的 Unix 环境。该软件可在 https://github.com/pinglab-utils/RUGGED 下载。表 1 显示了协议中所有步骤的计算时间估计值。

1. 安装软件

  1. 按照 材料表中的说明安装必备软件。
    注意：此协议需要版本控制、容器化、图形数据库和大型语言模型 （LLM） 服务。版本控制和容器化是可选的，但可以简化设置过程;如果用户在技术上精通，图形数据库和 LLM 服务可以用类似的工具代替。
    1. 配置容器间网络。将 Docker 容器配置为连接到设备上的其他服务（例如，其他 Docker 容器）。在终端中键入以下命令：docker network create rugged_network
  2. 设置大型语言模型 （LLM） 服务。在商业 LLM 服务或用户设备上运行的本地模型中的服务中，为使用案例选择合适的 LLM 服务。确保至少指定一个 LLM 服务，尽管可以混合和匹配代理以利用不同的模型。
    1. 启动本地 LLM 服务。如果使用图形用户界面 （GUI） 的 Ollama，请运行 GUI 可执行文件（例如 ollama.exe）。如果使用 Docker，请运行：'docker run -name ollama --net rugged_network d -v ollama：/root/.ollama -p 11434：11434 ollama/ollama'。如果将 Docker 与 GPU 加速一起使用，请确保已安装并运行 GPU 驱动程序：'docker run -name ollama --net rugged_network -d --gpus=all -v ollama：/root/.ollama -p 11434：11434 ollama/ollama'。
    2. 初始化本地 LLM 模型。确定在支持的模型（例如，推荐：llama3、mistral、mixtral）中使用哪个模型。如果使用 Docker，请在命令行中键入 'docker exec run ollama run ';如果使用 Ollama GUI，请键入 'ollama run '，并将 替换为每个 GUI 的型号名称。
  3. 启动 Graph Database 服务。在 Docker 容器、桌面应用程序或在线 Web 服务中选择图形数据库服务。按照补充材料中的安装说明完成设置。
  4. 设置 RUGGED 环境。通过键入 docker images 来验证下载的 Docker 映像。确保列出上一步中的所有 Docker 镜像。在终端中运行以下命令以下载 RUGGED Docker 映像和代码：
    docker pull pinglabutils/rugged：最新
    注意：git clone https://github.com/pinglab-utils/RUGGED
    1. 配置商业 LLM 服务。如果使用商业 LLM 服务，请确保账户和关联的 API Key 有足够的资金。通过在“RUGGED/config/openai_key.txt”中编辑配置文件并将 API 密钥添加到文件中，来修改 RUGGED 配置文件。
    2. 配置商业代理。确定 RUGGED 系统中的哪些 LLM 代理将使用此服务。修改“RUGGED/config/llm_agents.json”中的配置文件，并更新代理字段以指定型号版本。推荐型号：gpt-3.5-turbo、gpt-4o。
    3. 配置本地 LLM 服务。如果在“http://localhost:11434”处使用 Ollama 默认端点不同的服务端点，请修改并更新“RUGGED/config/ollama_config.json”配置文件中的“OLLAMA_URI”字段。
    4. 配置本地 LLM 代理。确定 RUGGED 系统中的哪些 LLM 代理将使用此服务。修改“RUGGED/config/llm_agents.json”中的配置文件，并更新代理字段以将“ollama”指定为所选型号。
    5. 配置图形数据库终端节点。如果从 Neo4j 的默认密码和用户名修改，请编辑“RUGGED/config/neo4j_config.json”配置文件以更新“uri”、“username”和“password”字段。
  5. 通过运行以下命令启动 RUGGED 服务：
    docker run --name rugged -it --net rugged_network --gpus=all -v \RUGGED\：/data ping-lab-
    utils：RUGGED /bin/bash
    注意：要验证服务是否按预期工作，请导航到 RUGGED 目录并执行步骤 1.4.1。通过步骤 1.4.4.在此终端窗口中。
    1. 验证 LLM 服务功能。导航到 RUGGED 目录中的 测试 文件夹并执行以下命令以验证 OpenAI 和/或 Ollama 服务是否正常运行：
      Python test_openai.py
      Python test_ollama.py
    2. 验证命名实体识别服务功能。执行 'test_ner.py' 以验证用户查询的命名实体识别代码是否正常运行。
    3. 验证 Neo4j 服务功能。通过键入“python test_neo4j.py”来执行测试脚本以验证 Neo4j 服务是否按预期运行
    4. （可选）验证对图形数据库的 HTTP 访问。打开 Web 浏览器并访问 Neo4j 用户界面。
      注意：对于 Docker 或 Desktop 中的 Neo4j，默认 URL 为“http://localhost:7474”。对于 Neo4j AuraDB，请使用设置过程中提供的链接。
  6. （可选）排查问题。确保在软件设置期间验证支持 RUGGED 的服务，以预测问题。对步骤 1.4 中任何不成功的测试进行故障排除。如果存在，请按照描述问题的测试脚本报告的错误消息进行作。
    1. 验证 Docker 容器。在终端中使用“docker ps”确认所有 Docker 容器都在运行，包括 RUGGED docker 容器、Neo4j docker 容器（可选）和 Ollama docker 容器（可选）。
    2. 验证 Networking ports（网络端口）。对于 Docker 服务，请确保打开正确的端口，并使用 docker logs neo4j' 或 'docker logs ollama' 检查日志。
      注意：默认情况下，Neo4j 使用 7474 端口作为 http，使用 7687 端口作为其 bolt 接口;Ollama 使用端口 11434。
    3. 验证服务应用程序。对于直接安装在设备上的应用程序（例如 Ollama 和 Neo4j Desktop），请打开应用程序以确认它们正在运行。
    4. 验证 Web 服务。对于 Neo4j AuraDB，请登录网站并验证服务是否正在运行。
    5. 验证防火墙规则。修改设备防火墙规则以确保防火墙不会阻止任何外部服务。
    6. 重新启动设备。如果问题未解决，请重新启动设备，然后从步骤 1.5.1 开始重试。
    7. 打开一个 issue。如果问题仍然存在，请在 RUGGED GitHub （https://github.com/pinglab-utils/RUGGED） 上打开一个问题。

2. 获取生物医学知识和提取信息

注意：这些步骤概述了两个知识提取管道，作为构成 RUGGED 检索增强生成 （RAG） 系统的底层信息：（1） CaseOLAP LIFT 生物医学文本挖掘管道5 和 （2） Know2BIO 知识图谱构建工作流程9。要将 RUGGED 与自定义数据一起使用，请继续执行步骤 4。

  1. 提取生物医学文献。使用 CaseOLAP LIFT 识别相关文档和高级蛋白质-疾病关系， CaseOLAP LIFT 是一种计算协议，旨在通过生物医学文献文本挖掘来研究亚细胞蛋白质及其与疾病的关系。完成此步骤以准备必要的信息，以便从这些报告中获取有针对性的洞察来通知 RAG 工作流。
    1. 运行 CaseOLAP LIFT Text Mining Analysis。访问 CaseOLAP LIFT JoVE 协议（此分析不需要步骤 4-5）。
    2. 移动已处理的文本文档。确保步骤 3 中解析的生物医学文档 （pubmed.json） 及其全文 （pmid2full_text_sections.json） 位于 CaseOLAP LIFT 数据文件夹中。使用以下命令将这些文件移动到 RUGGED 数据文件夹中：
      mv /caseolap_lift/caseolap_lift_shared_folder/data/pubmed.json /RUGGED/data/text_corpus
      mv /caseolap_lift/caseolap_lift_shared_folder/data/ pmid2full_text_sections.json /RUGGED/data/text_corpus
    3. 移动文本挖掘结果。验证 result/kg 文件夹中是否生成了具有蛋白质-疾病关联的知识图谱文件 （merged_edge_list.tsv）。检查关联数量是否符合预期，具体取决于步骤 1-3 中所选的设置（例如，请参阅 表 2 ）。将此文件移动到 RUGGED 的数据文件夹：
      mv /caseolap_lift/caseolap_lift_shared_folder/result/graph_data/ merged_edge_list.tsv /RUGGED/data/knowledge_graph
  2. 提取生物医学知识。使用 Know2BIO 软件组装生物医学知识图谱，该软件集成了来自 30 个生物医学知识库的数据。完成此步骤以确保处理这些生物医学关系和多模式数据的信息以支持下游 RAG 工作流程。
    1. 克隆 Know2BIO 存储库。使用以下命令在命令行中键入来克隆存储库。导航到 Know2BIO 存储库。
      git clone https://github.com/Yijia-Xiao/Know2BIO.git。
    2. 准备数据和许可证。导航到数据集文件夹，然后按照“README.md”文件中的说明进行作。完成用户帐户的必要创建以访问各种在线资源（例如，UMLS 叙词表、Drug Bank）。
    3. 下载知识库资源。执行 'python create_edge_files.py' 脚本并监控知识图谱提取管道的进度。确保生成了代表生物医学关系的 'Know2BIO/dataset/output' 文件夹中的 .csv 文件。
    4. 构建知识图谱。执行“python prepare_kgs.py”脚本以集成上一步中提取的信息，以自动将提取的关系合并到统一的知识图谱中，并按数据源和域设置图谱格式。
    5. 验证输出。检查完成的文件是否存在于“Know2BIO/dataset/know2bio_dataset”目录下的“whole_kg.txt”文件中。确认文件中的边数符合预期;参见 表 3，它产生了超过 600 万条边。继续执行以下步骤，因为此分析不需要 Know2BIO README 中的其余步骤。
      注： 表 3 中 Know2BIO 的关系来自 31 个来源，包括 ATC（世界卫生组织）、Bgee45、CTD46、ClinGen47、ClinVar48、DOID49、DisGeNET50、DrugBank51、GRNdb52、基因本体论53、HGNC54、Hetionet3、Inxight Drugs55、KEGG56、MeSH57、Mondo58、MyChem.info59、MyDisease.info59、MyGene.info59、OMIM60、PathFX61、PharmGKB62、PubMed、Reactome63、SIDER64、SMPDB65、STRING66、TTD67、UMLS68、Uberon69 和 UniProt70。
    6. 移动知识图谱结果。将文件移动到 RUGGED 目录的“/data/knowledge_graph/”中。
      mv /Know2BIO/dataset/know2bio/whole_kg.txt /RUGGED/data/knowledge_graph
  3. 构建组合知识图谱。将上一步中的图与步骤 2.1 中文本挖掘中的高级蛋白质-疾病关系集成到一个统一的知识图谱中。
    1. 验证 RUGGED 目录中的结果。验证知识图谱构建结果文件 （whole_kg.txt） 和文本挖掘关系结果 （merged_edge_list.tsv） 是否位于 data 文件夹内的 knowledge_graph 目录中。
    2. 集成结果。执行 'combine_kg_results.py' 脚本，将从文本挖掘分析和知识图谱构建中提取的关系和实体合并到一个内聚的知识图谱中。请遵循以下示例命令：
      python rugged/knowledge_graph/combine_kg_results.py ./data/knowledge_graph/merged_edge_list.tsv ./data/knowledge_graph/whole_kg.txt --output_dir ./data/rugged_knowledge_graph
  4. 过滤知识图谱。（可选）对将用于预测分析的知识图谱子集进行采样。此步骤仅保留密切相关的关系，并减少了执行深度学习预测所需的计算资源。
    1. 确定相关节点。通过查看知识图谱并精确定位相关节点，确定步骤 3 中预测分析感兴趣的生物医学实体。
      注意：该协议侧重于致心律失常性心肌病 （ACM） 和扩张型心肌病 （DCM） 的疾病节点，分别为MeSH_Disease：D019571 和 MeSH_Disease：D002311。目标节点需要根据预期使用案例进行定制。
    2. 来自知识图谱的示例。使用“filter.py”脚本从选定的感兴趣节点中提取 K 圈内可访问的知识图谱子图。按照下面的示例命令作，该命令筛选所选疾病节点的 2 个节点内可访问的图形：
      python ./rugged/knowledge_graph/kg_filter.py --k 2 --disease “MeSH_Disease：D019571，MeSH_Disease：D002311” --input_file ./data/rugged_knowledge_graph/rugged_knowledge_graph_edges.csv —output_dir ./data/rugged_knowledge_graph/filtered_kg/.
      注意：增加 k 跳值 （--k） 会扩大图形内用于预测分析的数据范围，但也需要更多的计算资源。

3. 可解释的预测分析

注意：在图卷积网络模型上执行 GNNExplainer44 以预测知识图谱中的潜在边缘（关系），并提供对以前未知关联的见解。

  1. 确保 RUGGED Docker 容器正在运行。如果上一个终端窗口已关闭，请使用命令“docker exec --it rugged /bin/bash”连接到 Docker 容器。连接到 Docker 容器后，导航到 RUGGED 目录。
  2. 确定要预测的边缘。在 .txt 文件中以节点对的形式提供边（例如，edges_to_predict.txt）。将从预测中筛选出知识图谱中已存在的边。
  3. 运行 预测分析 脚本。指定要预测的边缘和输入知识图谱作为预测的命令行参数。关键参数：-p（边文件的路径）、-i（输入知识图谱）、-o（输出目录）、-n（排名靠前的预测，例如 5）、-k（要可视化的排名靠前的边缘，例如，10）。示例命令：
    python rugged/predictive_analysis/generate_explainable_prediction.py -o output -n 5 -k 10 -p ./output/edges_to_predict.txt -i ./data/rugged_knowledge_graph/filtered_kg/filtered_k2_edges.csv
  4. 评估模型性能。检查终端输出或上一步生成的“output.log”文件，以将过滤后的知识图谱拆分为比率为 85：5：10 的训练集、验证集和测试集，从而评估模型性能。如果性能不如预期，请调整模型参数，以 表 4 为例。
  5. 验证结果是否在输出文件夹中。检查 'prediction_results.csv' 中的模型结果，并检查输出文件夹中的前 n 个预测。查看输出文件夹中的前 n 个预测。对于每个预测，图形可视化图表说明了对每个预测最相关的边缘及其相对重要性分数。
  6. 移动预测分析结果。对预测分析结果满意后，将结果移动到 RUGGED 目录的 'data/predictions/' 中。

4. 假设生成

  1. 连接到 RUGGED Docker 容器。
    1. 确保 RUGGED Docker 容器正在运行。如果上一个终端窗口已关闭，请连接到 Docker 容器。
    2. 导航到 RUGGED 目录。连接后，键入 cd /workspace/RUGGED 以导航到该目录。在此命令行窗口中执行其余步骤。
    3. 验证支持服务是否正在运行。如果在 Docker 中使用 Ollama 和 Neo4j，请键入“docker ps”以确保容器正在运行。重复步骤 1.7 以验证服务是否正常运行，并重复步骤 1.4 以排查问题（如果存在）。
  2. 准备 RAG 数据。准备知识图谱和文本语料库以供检索。
    注意：这些数据可以通过将数据分别放入 'data/knowledge_graph/' 和 'data/text_corpus/' 目录来替换为用户定义的数据。这些数据必须遵循 GitHub 存储库 （https://github.com/pinglab-utils/RUGGED/tree/main/data） 中的格式。
    1. 验证资源。确保文本语料库在 'data/text_corpus/' 目录中，带有文本挖掘预测文件的知识图谱在 data/knowledge_graph/ 目录中，预测结果在 data/predictions/ 目录中（分别来自步骤 2.1.2.、2.3.2. 和 3.5）。
    2. 填充图形数据库。执行命令 'python ./neo4j/prepare_neo4j.py' 以创建必要的节点、边和节点特征。
    3. 为文本语料库编制索引。执行命令“python ./text/prepare_corpus.py”为文本语料库编制索引，并使 RUGGED 能够根据用户查询检索相关文本文档，方法是将文档分块为 500 个令牌的部分，以使用 BART71 创建矢量数据库。
    4. 可选）测试图形数据库检索。向 Neo4j 数据库发送测试查询，以确保它已正确填充并可以返回预期结果。验证输出是否与数据库中的预期节点和关系匹配。示例命令：
      python ./test/test_neo4j_retrieval.py --query “匹配 （n） 返回 n 限制 5”
    5. （可选）测试 RAG 语料库检索。向 RAG 文本语料库发送测试查询，以确保文本检索系统正常工作。检查检索到的文档是否与查询相关，以及嵌入是否按预期运行。示例命令： python ./test/test_literature_retrieval.py --query “哪些文档与使用 β 受体阻滞剂治疗心血管疾病有关？”
  3. 与 RUGGED 互动。在命令行界面中启动 RUGGED 以与系统交互。执行命令 'python rugged.py'。使用特定命令查询系统以检索相关信息，以与知识图谱和文本语料库进行交互。
    1. 查询知识图谱。通过用自然语言提出问题，从知识图谱中提取特定信息，以关键字 “query” 开头。例如：
      查询 “目前有哪些处方药被归类为 β 受体阻滞剂、抗心律失常药物和抗纤维化药物？”
    2. 探索预测。探索第 3 步中的链接预测分析，并要求搜索特定关系，以关键字 “predict” 开头。例如：
      预测，“这些药物中的哪些可能用于治疗目前尚不清楚的 ACM 和/或 DCM？
    3. 探索文献检索。浏览与步骤 2 中的特定生物医学主题相关的文档。用自然语言提出问题，以关键字 “search” 开头。例如：
      搜索，“哪些文献证据支持这些预测药物可用于治疗 ACM 和/或 DCM 的说法？
    4. 迭代和优化查询。直接在命令行中响应，以使用 RUGGED 的类似聊天的界面迭代和优化查询。参考以前的用户系统对话来修改和优化提问和查询。
    5. 在 Neo4j 中重新运行 cypher 命令。（可选）通过调整提供的用于检索信息的 Cypher 命令来优化知识图谱查询结果。通过访问步骤 1.4.4 中的 Neo4j 浏览器界面（例如，在 http://localhost:7474）重新运行或修改此命令。根据需要粘贴和修改 Cypher 命令，以优化查询并收集更具体的见解。
    6. 总结对话。查看检索到的信息并总结与 RUGGED 的对话。键入关键字 summarize 以将交互摘要输出到文本文件中以供以后分析。全文响应将显示在终端中。
    7. 在最终确定摘要之前，通过检查和修改系统响应的可读性和简洁性，执行人机回环审查以提高输出的准确性。
    8. 查看聊天记录。检查 RUGGED 中日志文件夹中交互的全文。在 RUGGED 中保留 LLM 代理之间的这些中间命令和对话，以实现故障排除和可重复性。
  4. 关闭并重新启动 RUGGED。
    1. 获取 Docker 容器 ID。使用命令“docker ps”列出所有正在运行的容器，并获取 RUGGED、Neo4j 和 Ollama 的容器 ID。对于以下所有命令，请将 、 和 替换为实际的容器 ID。
    2. 停止 Docker 容器。使用容器 ID 关闭 RUGGED 和关联的 Docker 容器。
      docker stop
      docker stop
      docker stop
      注意：建议在关闭设备之前停止这些容器，以防止潜在的数据丢失并确保所有进程正确关闭。
    3. 重新启动 Docker Containers。要重新启动 RUGGED 系统，请使用容器 ID 启动必要的 Docker 容器。
      docker start
      docker start
      docker start
    4. 重新附加到 Docker 网络。如果需要，请使用这些命令将容器重新连接到网络。
      Docker 网络连接 rugged_network
      Docker 网络连接 rugged_network
      Docker 网络连接rugged_network
    5. 验证服务功能。重新启动后，重复步骤 1.4-1.5 以确保软件按预期工作。

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

这些代表性结果是按照本协议中概述的程序获得的。按照具有默认参数的 CaseOLAP LIFT 协议5 进行文本挖掘关联分析，研究八大类心血管疾病72 及其与线粒体蛋白 （GO：0005739） 的关联。截至 2024 年 5 月，共有 635,696 份报告被确定为与这些疾病相关;其中，确定了 4,655 个高置信度的蛋白质-疾病关联，为下游分析提供信息。使用 Know2BIO 的软件代码在 2024 年 9 月使用默认设置构建了生物医学知识图谱。生成的知识图谱包括 219,450 个节点、6,323,257 条边以及 189,493 个节点的节点特征，包括节点描述、蛋白质/基因序列、化学结构等（如果可用）。 表 1 列出了协议中所有步骤的计算时间估计值。

RUGGED 系统是通过为知识图谱节点和特征以及 CVD 相关出版物构建矢量数据库来初始化的。所有知识图谱节点、边和节点特征都使用 BART71 嵌入模型以 20 个标记大小的块大小进行处理，为 RAG 向量搜索做准备。同样，使用 500 个标记的块大小和 BART 嵌入模型处理原始贡献和评论文章，为 RAG 向量搜索做准备。对于文献检索，大于 500 个标记的全文出版物通过 BART 嵌入模型根据出版物的各个部分进行分层汇总。GPT-4o 模型用于系统中剩余的 LLM 代理。

这些代表性结果展示了一个示例用例，用于研究致心律失常性心肌病 （ACM） 和扩张型心肌病 （DCM） 的潜在药物治疗，分别确定为 MeSH_Disease：D019571 和 MeSH_Disease：D002311。 图 3 概述了一系列查询， 图 4 中显示了模型响应的突出显示示例，补充 文件 1 中报告了完整的响应 A 部分。调查方向根据研究者验证的回答进行了调整，根据先前回答的结果制作了后续查询。分析揭示了 11 种候选药物，归类为 β 受体阻滞剂和抗心律失常药。使用图卷积神经网络链接预测模型对完整知识图谱的子集进行评估，包括研究疾病和药物节点及其互连的 1 跳内的节点，评估指标如 表 4 所示。 图形可解释性模块 GNNExplainer 44 进一步检查了模型每个预测的前 10 条相关边，以分别确定对每个预测做出贡献的前10 个节点和边。在撰写本文时，对于此使用案例，在 RUGGED 协议的所有步骤中使用商业 LLM 的总成本估计为 1.50 USD。

figure-results-1
图 1：在图形引导的可解释疾病区分 （RUGGED） 工作流程下进行检索。 RUGGED 由四个主要组件组成：（1） 汇编和处理来自合乎道德和专业管理的资源（例如 PubMed 和精选的生物医学知识库）的数据，（2） 将同行评审的研究结果整合到一个统一的知识图谱中，（3） 在数据库服务中构建文本和图形数据，（4） 建模和预测知识图谱中生物医学实体之间的可解释关系， （5） 通过检索增强生成 （RAG） 工作流程检索和合成知识（图 2），以验证复杂的分子关系并探索 AI 驱动的疾病预测。用户可以执行人机协同审查步骤，以提高输出的准确性。 请单击此处查看此图的较大版本。

figure-results-2
图 2：检索架构和偏差缓解工作流程。 检索增强生成 （RAG） 框架使用多个 LLM 代理，每个代理执行特定任务，以支持根据用户查询访问相关信息。该系统为面向用户的基于 GPT 的推理代理提供书面证据，促进用户与代理的交互和知识的综合。（1） 生物医学文本检索：同行评审的原始贡献和评论文章根据它们与理解疾病关联的相关性进行过滤。为作者和编辑验证的文本证据构建了一个矢量数据库，分别根据出版物的相应部分进行加权：70% 摘要、10% 结果、10% 元数据和 10% 用于所有其他子部分。针对用户查询的文本嵌入的关键字搜索和相似性搜索一起标识相关文档。每个文档的摘要都是使用基于 BERT 的摘要器生成的，基于 GPT 的文本评估器代理会优化搜索以验证查询-文档的相关性。（2） 知识图谱检索：基于 BERT 的命名实体识别和基于 GPT 的关系提取模块将用户查询连接到知识图谱中的相关实体。向量数据库中的相似性搜索可识别相关的节点和边。数据通过基于 GPT 的 Cypher 查询代理生成的 Cypher 查询从 Neo4j 数据库中检索，并由 Query Verification Agent 进行优化。（3） 来自生物医学文本检索或知识图谱检索管道的单个响应被呈现给推理代理，推理代理合成一个简洁的响应，对用户查询的偏见最小。该系统旨在保持呈现事实信息的准确性和公正性。 请单击此处查看此图的较大版本。

figure-results-3
图 3：通过查询级联进行知识合成和假设探索的用例。该图展示了一个突出的使用案例，重点关注研究人员和/或医疗保健专业人员可能向 RUGGED 系统提出的一系列相关问题和概念。用户的查询按数字顺序呈现给系统，箭头表示每个问题中推断出的逻辑推理和特定于领域的推理。系统从隐式和相关信息（源以蓝色显示）中检索，以响应查询。图 4 显示了系统响应的示例。请单击此处查看此图的较大版本。

figure-results-4
图 4：心血管病理学用例：阐明 CVD 发病机制。 显示了用户和 RUGGED 系统之间的查询-响应对。在左上角的面板中，问题 1-6 通过从知识图谱数据库中提取信息来检索信息，以形成基于证据的回答。问题 7 采用可解释的图形链接预测来识别得分最高的疗法。查询会提示预测分析，该分析由系统自动执行和处理，并简要总结关键发现。问题 8 评估来自定义文本语料库的文献证据，该语料库作为相关证据检索，以验证、确认和证实预测结果。系统响应已通过人机协同检查流程进行审查，并进行了修改以提高可读性和简洁性。这些发现的完整记录详见 补充文件 1。 请单击此处查看此图的较大版本。

步骤描述时间
获取生物医学知识总计 30%
准备生物医学文献语料库连接到 PubMed 和 PubMed Central，下载并解析下游任务的出版物数据。20%
准备知识库数据连接到生物医学知识库，下载并解析下游任务所需的信息。5%
信息提取总计 30%
CaseOLAP LIFT 文本挖掘分析识别生物医学文本语料库中的高级别疾病-蛋白质关系。25%
知识图谱构建将生物医学知识库中的不同信息连接并集成到一个统一的知识图谱中。5%
预测分析总计 10%
训练图神经网络在生物医学知识图谱数据上训练模型，以学习图中的隐藏模式。5%
相关性排名分析应用可解释性模块来突出与研究疾病相关的最相关的节点和边缘。2.5%
链接预测利用可解释性模块来识别影响新预测边缘的关键节点和边缘。2.5%
假设验证生成和/或验证总计 30%
用于检索 Augmented Generation 的数据库设置初始化图数据库以查询知识图谱，并初始化矢量数据库以检索文本。25%
假设探索支持用户与 RUGGED 交互，以访问和仔细检查相关信息以进行假设探索。5%

表 1：工作流程和速率限制步骤。 此表提供了工作流每个阶段所需的计算时间的粗略估计值。速率限制步骤包括访问、提取和索引检索增强生成所需的生物医学知识。假设探索可以连续重复，而无需重新执行速率限制步骤。

疾病类别MeSH 树编号# PMID# 原始贡献# 评论文章
心肌病 （CM）编号： C14.280.238132,531102,33719,942
编号： C14.280.434
心律失常 （ARR）货号 C14.280.067125,28692,37413,854
编号： C23.550.073
先天性心脏缺陷 （CHD）编号： C14.280.40082,00654,0236,379
心脏瓣膜疾病 （VD）编号 C14.280.48472,01650,1195,743
心肌缺血 （IHD）编号： C14.280.647256,986210,04230,223
心脏传导系统疾病 （CCD）编号 C14.280.12353,05035,3994,363
心室流出道梗阻 （VOO）编号： C14.280.95522,24415,5041,686
其他心脏病 （OTH）C14.280.195 C14.280.282 C14.280.383 C14.280.470 C14.280.945 C14.280.459 C14.280.720114,08577,30211,799
总635,696478,40469,690

表 2：生物医学文献统计。 该表详细介绍了研究疾病类别及其相应的 MeSH 树编号以及从 2024 年 5 月检索的 PubMed 文档数量，用作文本挖掘的语料库。这些出版物的子集（包括原始贡献研究文章和评论文章）被索引到向量数据库中，以便在假设生成期间由 RUGGED 检索。

类别节点数边数数据源
解剖学5,049122,533Bgee、PubMed、MeSH、Uberon、 
生物过程27,047108,106基因本体论
蜂窝组件4,05752,238基因本体论
复合27,2783,292,028DrugBank、MeSH、CTD、UMLS、KEGG、TTD、SIDER、Inxight Drugs、Hetionet、PathFX MyChem.info
疾病21,938311,773PubMed、MeSH、DisGeNET、SIDER、ClinVar、ClinGen、PharmGKB、MyDisease.info、PathFX、UMLS、OMIM、Mondo、DOID、KEGG
药品类别5,7218,283空管
基因29,810943,419HGNC、GRNdb、KEGG、ClinVar、ClinGen、
分子功能11,15147,086SMPDB、DisGENET、PharmGKB MyGene.info
路52,012234,944基因本体论
蛋白20,7401,074,809Reactome、KEGG、SMPDB
反应14,647128,038UniProt、Reactome、TTD、SMPDB、STRING、HGNC
小计219,4506,323,257Reactome 公司
文本挖掘关联84,670
总219,4586,327,927

表 3：知识图统计。 该表详细介绍了构成构建的 Know2BIO 知识图谱的 11 个广泛的生物医学类别，并丰富了来自文本挖掘分析和预测分析的额外边缘。生成的知识图谱和预测由 Neo4j 图形数据库管理，以便在假设生成期间由 RUGGED 进行检索。

准确性精度召回F1 分数奥洛克AUPRC
验证0.71580.66390.87430.75470.84370.8637
测试0.7030.63670.94550.7610.89610.9094

表 4：可解释的 AI 模型评估。 下表报告了使用两层图卷积神经网络进行知识图谱链接预测的评估指标。通过将图形边缘划分为 85% 的训练、5% 的验证和 10% 的测试数据集来评估指标。准确率表示正确分类的预测的比例。精度报告正确正预测在所有正预测中的比例。召回率衡量正确的正预测在实际正边缘中的比例。F1 分数是精确率和召回率的调和平均值，用于平衡这两个指标。AUROC 评估模型区分正预测和消极预测的能力。AUPRC 量化了不同阈值下精确率和召回率之间的权衡。对于所有指标，值越高表示模型性能越好。

补充文件 1： 该文件详细介绍了 RUGGED 的完整模型响应以及与 GPT-4o 的比较。 A 部分 介绍了 RUGGED 的完整人机交互，扩展了 图 3 中概述的查询链方法，并在 图 4 中突出显示的摘要之外提供了完整的响应。 B 部分 评估了 GPT-4o 的响应（无检索）与 RUGGED 的响应，评估了精度、深度、置信度评分、证据可靠性和成本等属性。 请点击此处下载此文件。

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

RUGGED 协议利用具有最新信息的现代语言模型，使研究人员能够动态探索不断发展的生物医学领域并发现新知识。这种人机交互推动了一个创新过程，体现了机器的效率 （RUGGED） 以及研究者的专业知识和判断力。该协议旨在按概述的顺序执行。步骤 1 详细说明软件安装。第 2 步和第 3 步对于准备生物医学文献和资源至关重要，而第 4 步为这些信息编制索引，以便进行检索增强生成和用户与 LLM 系统的交互。耗时的步骤可以同时和/或按顺序运行。例如，创建 Neo4j 图（步骤 4.2.2）可以在预测分析（步骤 3）期间开始，索引可以在构建知识图谱（步骤 2.3）和文本挖掘（步骤 2.1）后开始。必须重复这些步骤才能获得这些中间结果的最终结果。虽然该协议专为生物医学信息检索而设计，但经过细微修改后，还可以处理其他文本和图形数据，例如内部数据、临床记录或电子健康记录。数据格式详细信息位于步骤 4.2 中。

该平台的运行依赖于多种技术的正确安装和互连，包括语言模型、图形数据库和矢量数据库（参见 材料表）。为了验证这些服务是否已正确安装和连接，GitHub 存储库中的“test” 文件夹中提供了测试脚本。外部服务可能会产生费用，价格可能会因供应商而有所变化。这些可选服务还具有本地托管的替代方案，只需要足够的计算资源。但是，这些替代方案可能会影响模型性能和/或便利性，使其不适用于某些用例场景。

随着 LLM 领域的快速发展，新的地标模型和特定于任务的模型会定期发布。在本报告发布时，为该任务选择了最合适的模型。用户可以通过相应地更新配置文件来选择要使用的 LLM（请参阅步骤 1.3.2-1.3.4）。模型选择取决于它们与特定用例的相关性。例如，将专注于确保模型响应公平、经过审查且没有仇恨言论 73,74,75,76,77,78 的模型纳入此工作流程对于道德考虑至关重要。此外，及时的工程设计对于指导 LLM 79,80,81,82 的可靠和负责任的行为至关重要。为 RUGGED 工作流程制作的提示是根据所采用的模型和展示的用例量身定制的。要针对不同的用例微调提示，用户可以在 RUGGED 工作流程中“prompts.json”文件中的“configuration”文件夹中编辑提示。

虽然 RAG 系统旨在通过将反应建立在证据的基础上来减少 LLM 中的幻觉，但这些模型仍可能导致不准确的信息或通常正确的非特异性反应。补充文件 1 的 B 节提供了 RUGGED 与 GPT-4o 的基准比较。当检索到的信息超出模型的上下文窗口时，通常会发生模型幻觉，类似于记忆丧失和无法定位数据内容的痴呆，导致响应不准确 83,84,85.选择合适的 LLM 模型有助于缓解此问题。例如，GPT-4o 的上下文限制为 128k 令牌，明显高于 GPT-3.5 Turbo 的 16k 令牌限制，尽管用户的成本更高。此外，使用特定领域知识进行微调的 LLM 可能会提高生物医学应用中响应的准确性和特异性 86,87,88。尽管采取了这些措施，但在进行昂贵的湿实验室实验之前，必须交叉检查信息。

RUGGED 利用 RAG 管道中的可解释 AI 来仔细检查链接预测，识别可靠和以前未发现的关系。虽然传统的 RAG 系统依赖于基于批量相似性的检索，但这种方法将可解释性与有针对性的响应增强联系起来。 表 4 突出了该模型的强劲性能，展示了高召回率（验证：0.975 测试：0.976）和平衡的 F1 分数（验证：0.796，测试：0.797），表明识别真阳性的可靠性，尽管假阳性率更高。该模型的稳健性进一步得到了其 AUROC（验证：0.963，测试：0.964）和 AUPRC（验证：0.971，测试：0.972）值的支持。然而，精度（验证：0.673，测试：0.674）可以从阈值调整、结合详细的节点特征或改进类不平衡的处理中受益。模型的有效性在很大程度上取决于输入的知识图谱;较小的图形存在过度拟合的风险，而较大的图形需要更多的计算资源。但是，任何基于 RAG 的方法在很大程度上都取决于检索基础数据的质量。例如，由于原始图谱上的固有噪声，知识图谱的构建通常是耗时耗力的。这需要手动进行降噪和标记，以及数据库维护和更新的持续成本。

RUGGED 的主要用途是知识合成和假设探索。通过研究各种隐藏的关系，例如疾病机制和药物治疗，RUGGED 可以有效地进行文献分类。为了减少计算负担，大多数应用程序可以托管在服务器（例如 AWS 或计算服务器）上，并配置为定期更新最新信息。此外，此工作流可以适应完成特定于领域的应用程序，例如充当一个平台，将患者数据与本地模型一起包含，以维护安全性、隐私性和机密性。除了生物医学研究之外，RUGGED 的模块化设计使其能够通过定制 RAG 管道和针对目标领域量身定制的工程策略来支持信息检索、推理和摘要等任务。成功的适应需要仔细考虑特定于领域的挑战，例如对各种数据格式的预处理以及评估适合任务和领域需求的模型。

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者没有什么可披露的。

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者要感谢 Alex Bui 博士的指导和深思熟虑的讨论。此外，我们感谢 Ding Wang 博士的有益讨论。这项工作得到了 NIH 1U54HG012517-01 对 P.P.、KW 和 WW 的部分支持;NIH T32 HL13945 到 A.R.P.;美国国家科学基金会研究实习生 （NRT） 1829071 A.R.P.;以及加州大学洛杉矶分校 （UCLA） 的 TC Laubisch Endowment to P.P. 捐赠基金。

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
硬件/软件 - 显卡和软件驱动程序Nvidiahttps://www.nvidia.com强烈建议使用显卡及其相关的驱动程序软件来显着减少计算密集型任务（例如本地 LLM 和预测分析）的运行时间。对于配备 NVIDIA RTX GPU 的设备，请从 NVIDIA 网站 （https://developer.nvidia.com/cuda-downloads） 下载并安装必要的驱动程序和 CUDA 工具包。
软件 - 商业大语言模型服务OpenAIhttps://openai.comRUGGED 支持 GPT-3.5 和 GPT-4o 等模型的 OpenAI API。要使用 OpenAI 模型进行设置，请先获取 OpenAI API 密钥。前往 OpenAI 网站 （https://openai.com/blog/openai-api） 创建帐户、充值资金并获取 API 密钥。需要此 API 密钥才能使 RUGGED 使用 OpenAI 模型。从其文档 （https://platform.openai.com/docs/models） 中确定 RUGGED 系统中的哪些 LLM 代理将使用 OpenAI 模型。
注意：OpenAI API 是一项付费服务。在发布时，GPT-4o 的成本为每 100 万个输入代币 5.00 美元，每 100 万个输出代币 2.50 美元（欲了解更多信息，请访问 https://openai.com/pricing）。
软件 - 容器化Dockerhttps://www.docker.comDocker 有助于维护一致的计算运行时环境，简化跨不同机器的软件安装和执行。要安装 Docker，请访问 Docker 网站 （https://www.docker.com/），单击"开始"，下载并安装适合作系统的版本。通过在终端中键入"docker --version"来验证安装;成功安装报告已安装的 Docker 版本。
软件 - 图数据库Neo4jhttps://neo4j.comNeo4j 是一款图数据库软件，可以高效管理和查询基于图的节点和关系。RUGGED 支持多种形式的 Neo4j：Docker 容器、Neo4j Desktop 或 Neo4j AuraDB 在线服务器。选择最适合用例的选项。
将 Neo4j 设置为 Docker 容器。运行这些命令以在 Docker 中设置 Neo4j，文件夹的文件路径（例如 /Users/username/RUGGED）为"PATH_TO_FOLDER"。有关故障排除的更多详细信息，请参阅 Neo4j Docker 网站 （https://hub.docker.com/_/neo4j）。
docker pull neo4j
docker run –名称 neo4j --net rugged_network --publish=7474：7474 --publish=7687：7687 -d -v 'PATH_TO_FOLDER'\neo4j\data：/data neo4j
注意：通过设置用户名和密码，首次在 Docker 中初始化 Neo4j。运行 neo4j_setup.py 脚本（例如 python neo4j_setup.py）或通过 Web 界面运行 http://localhost:7474.
设置 Neo4j 桌面。如果使用 Neo4j Desktop，请从 Neo4j 网站 （https://neo4j.com/） 下载并安装。单击"新建"创建一个新项目，然后单击"添加"以创建新的数据库管理系统 （DBMS）。选择"本地DBMS"，设置密码，点击"创建"，然后点击"开始"。绿色的"ACTIVE"文本表示它正在运行。
设置 Neo4j AuraDB。访问 Neo4j 网站 （https://neo4j.com/cloud/aura-free/） 创建一个帐户并登录。选择"新建实例"创建一个空实例，并保存 URI 和初始密码以访问 bolt 接口（例如 bolt://myurl.neo4j.com）。单击播放按钮启动实例，这将在信息框中显示连接 URI。
注意：Neo4j AuraDB 提供高达 200,000 个节点和 400,000 个关系的免费套餐。如需更大的图表，请访问 Neo4j 定价 （https://neo4j.com/pricing）。
软件 - 本地大语言模型服务Ollamahttps://ollama.comRUGGED 支持使用 Ollama 使用本地模型（例如 Llama3）。要启用，请先在设备上安装 Ollama 或下载 Docker 容器。要安装 Ollama，请访问 Ollama 网站 （https://ollama.com/download） 并按照安装说明进行作。要在 Docker 上安装 Ollama，请运行以下命令：
docker pull ollama/ollama
注意：在发布时，Windows作系统上没有 Ollama 的稳定版本。
软件 - 版本控制Githttps://www.git-scm.com版本控制软件可以高效地安装和更新软件。要安装 Git，请访问 Git 网站 （https://www.git-scm.com/），单击"下载"，下载并安装适合作系统的版本。通过在终端中键入"git --version"来验证安装;安装成功将报告已安装的 Git 版本。

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Bioinformatics in translational drug discovery. Biosci Rep. 37 (4), BSR20160180(2017).">Wooller, S. K., Benstead-Hume, G., Chen, X., Ali, Y., Pearl, F. M. G. Bioinformatics in translational drug discovery. Biosci Rep. 37 (4), BSR20160180(2017).
  2. Computational approaches streamlining drug discovery. Nature. 616 (7958), 673-685 (2023).">Sadybekov, A. V., Katritch, V. Computational approaches streamlining drug discovery. Nature. 616 (7958), 673-685 (2023).
  3. Systematic integration of biomedical knowledge prioritizes drugs for repurposing. eLife. 6, e26726(2017).">Himmelstein, D. S., et al. Systematic integration of biomedical knowledge prioritizes drugs for repurposing. eLife. 6, e26726(2017).
  4. Text mining and expert curation to develop a database on psychiatric diseases and their genes. Database (Oxford). 2017, bax043(2017).">Gutiérrez-Sacristán, A., et al. Text mining and expert curation to develop a database on psychiatric diseases and their genes. Database (Oxford). 2017, bax043(2017).
  5. A knowledge graph approach to elucidate the role of organellar pathways in disease via biomedical reports. J Vis Exp. (200), e65084(2023).">Pelletier, A. R., et al. A knowledge graph approach to elucidate the role of organellar pathways in disease via biomedical reports. J Vis Exp. (200), e65084(2023).
  6. A knowledge graph to interpret clinical proteomics data. Nat Biotechnol. 40 (5), 692-702 (2022).">Santos, A., et al. A knowledge graph to interpret clinical proteomics data. Nat Biotechnol. 40 (5), 692-702 (2022).
  7. PharmKG: A dedicated knowledge graph benchmark for bomedical data mining. Briefings in Bioinformatics. 22 (4), bbaa344(2021).">Zheng, S., et al. PharmKG: A dedicated knowledge graph benchmark for bomedical data mining. Briefings in Bioinformatics. 22 (4), bbaa344(2021).
  8. Biomedical knowledge graph-optimized prompt generation for large language models. Bioinformatics. 40 (9), btae560(2023).">Soman, K., et al. Biomedical knowledge graph-optimized prompt generation for large language models. Bioinformatics. 40 (9), btae560(2023).
  9. ArXiv. , (2023).">Xiao, Y., et al. Know2BIO: A comprehensive dual-view benchmark for evolving biomedical knowledge graphs. ArXiv. , (2023).
  10. Large language models in medicine. Nat Med. 29 (8), 1930-1940 (2023).">Thirunavukarasu, A. J., et al. Large language models in medicine. Nat Med. 29 (8), 1930-1940 (2023).
  11. ArXiv. , (2023).">Lehman, E., et al. Do we still need clinical language models. ArXiv. , (2023).
  12. Large language models encode clinical knowledge. Nature. 620, 172-180 (2022).">Singhal, K., et al. Large language models encode clinical knowledge. Nature. 620, 172-180 (2022).
  13. ArXiv. , (2022).">Agrawal, M., Hegselmann, S., Lang, H., Kim, Y., Sontag, D. Large language models are few-shot clinical information extractors. ArXiv. , (2022).
  14. Assessing the accuracy and reliability of AI-generated medical responses: An evaluation of the Chat-GPT model. Res Sq. , (2023).">Johnson, D., et al. Assessing the accuracy and reliability of AI-generated medical responses: An evaluation of the Chat-GPT model. Res Sq. , (2023).
  15. Evaluation of ChatGPT on biomedical tasks: A zero-shot comparison with fine-tuned generative transformers. Jahan, I., Laskar, M. T. R., Peng, C., Huang, J. The 22nd Workshop on Biomedical Natural Language Processing and BioNLP Shared Tasks, , 326-336 (2023).
  16. Assessing the accuracy of responses by the language model ChatGPT to questions regarding bariatric surgery. Obes Surg. 33 (6), 1790-1796 (2023).">Samaan, J. S., et al. Assessing the accuracy of responses by the language model ChatGPT to questions regarding bariatric surgery. Obes Surg. 33 (6), 1790-1796 (2023).
  17. Trialling a large language model (ChatGPT) in general practice with the applied knowledge test: observational study demonstrating opportunities and limitations in primary care. JMIR Med Educ. 9, e46599(2023).">Thirunavukarasu, A. J., et al. Trialling a large language model (ChatGPT) in general practice with the applied knowledge test: observational study demonstrating opportunities and limitations in primary care. JMIR Med Educ. 9, e46599(2023).
  18. ArXiv. , (2023).">Sun, W., et al. Is ChatGPT Good at search? Investigating large language models as re-ranking agents. ArXiv. , (2023).
  19. ArXiv. , (2023).">Xu, R., Feng, Y., Chen, H. ChatGPT vs. Google: A comparative study of search performance and user experience. ArXiv. , (2023).
  20. TruthfulQA: Measuring how models mimic human falsehoods. Lin, S., Hilton, J., Evans, O. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers, , 3214-3252 (2022).
  21. ArXiv. , (2023).">Manakul, P., Liusie, A., Gales, M. J. F. SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models. ArXiv. , (2023).
  22. FActScore: Fine-grained atomic evaluation of factual precision in long form text generation. Min, S., et al. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, , 12076-12100 (2023).
  23. Is ChatGPT fair for recommendation? Evaluating fairness in large language model recommendation. Proceedings of the 17th ACM Conference on Recommender Systems. , 993-999 (2023).">Zhang, J., et al. Is ChatGPT fair for recommendation? Evaluating fairness in large language model recommendation. Proceedings of the 17th ACM Conference on Recommender Systems. , 993-999 (2023).
  24. Building an ethical and trustworthy biomedical AI ecosystem for the translational and clinical integration of foundation models. Bioengineering. 11 (10), 984(2024).">Sankar, B. S., et al. Building an ethical and trustworthy biomedical AI ecosystem for the translational and clinical integration of foundation models. Bioengineering. 11 (10), 984(2024).
  25. ChatGPT and Other large language models are double-edged swords. Radiology. 307 (2), e230163(2023).">Shen, Y., et al. ChatGPT and Other large language models are double-edged swords. Radiology. 307 (2), e230163(2023).
  26. Ethics of large language models in medicine and medical research. Lancet Digit Health. 5 (6), e333-e335 (2023).">Li, H., et al. Ethics of large language models in medicine and medical research. Lancet Digit Health. 5 (6), e333-e335 (2023).
  27. ArXiv. , (2020).">Lewis, P., et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. ArXiv. , (2020).
  28. ArXiv. , (2023).">Gao, Y., et al. Retrieval-augmented generation for large language models: A survey. ArXiv. , (2023).
  29. PubTator central: Automated concept annotation for biomedical full text articles. Nucleic Acids Res. 47 (W1), W587-W593 (2019).">Wei, C. -H., Allot, A., Leaman, R., Lu, Z. PubTator central: Automated concept annotation for biomedical full text articles. Nucleic Acids Res. 47 (W1), W587-W593 (2019).
  30. ArXiv. , (2024).">Wei, C. -H., et al. PubTator 3.0: An AI-powered literature resource for unlocking biomedical knowledge. ArXiv. , (2024).
  31. Comparative Reasoning for knowledge graph fact checking. Liu, L., Ji, H., Xu, J., Tong, H. 2022 IEEE International Conference on Big Data (Big Data), , 2309-2312 (2022).
  32. Knowledge Graph reasoning and its applications. Liu, L., Tong, H. Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, , 5813-5814 (2023).
  33. ArXiv. , (2024).">Liu, L., et al. Logic query of thoughts: Guiding large language models to answer complex logic queries with knowledge graphs. ArXiv. , (2024).
  34. Barack's wife hillary: Using Knowledge graphs for fact-aware language modeling. Logan, R., Liu, N. F., Peters, M. E., Gardner, M., Singh, S. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, , 5962-5971 (2019).
  35. ArXiv. , (2024).">Sun, J., et al. Think-on-graph: Deep and responsible reasoning of large language model on knowledge graph. ArXiv. , (2024).
  36. ArXiv. , (2024).">Wen, Y., Wang, Z., Sun, J. MindMap: Knowledge Graph prompting sparks graph of thoughts in large language models. ArXiv. , (2024).
  37. ArXiv. , (2020).">Wang, C., Liu, X., Song, D. Language models are open knowledge graphs. ArXiv. , (2020).
  38. QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering. Yasunaga, M., Ren, H., Bosselut, A., Liang, P., Leskovec, J. Proceedings of the 2021 Conference of the North American Chapter of the, , 535-546 (2021).
  39. SimKGC: Simple contrastive knowledge graph completion with pre-trained language models. Wang, L., Zhao, W., Wei, Z., Liu, J. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers, , 4281-4294 (2022).
  40. FLAIRS. 36, (2023).">Lazar, A. Graph neural networks for link prediction. FLAIRS. 36, (2023).
  41. ArXiv. , (2018).">Zhang, M., Chen, Y. Link prediction based on graph neural networks. ArXiv. , (2018).
  42. XGNN: Towards model-level explanations of graph neural networks. Yuan, H., Tang, J., Hu, X., Ji, S. Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, , (2020).
  43. CFGExplainer: Explaining graph neural network-based malware classification from control flow graphs. Herath, J. D., Wakodikar, P., Yang, P., Yan, G. 2022 52nd Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN), , 172-184 (2022).
  44. GNNExplainer: Generating explanations for graph neural networks. Adv Neural Inf Process Syst. 32, 9240-9251 (2019).">Ying, R., Bourgeois, D., You, J., Zitnik, M., Leskovec, J. GNNExplainer: Generating explanations for graph neural networks. Adv Neural Inf Process Syst. 32, 9240-9251 (2019).
  45. The Bgee suite: Integrated curated expression atlas and comparative transcriptomics in animals. Nucleic Acids Res. 49 (D1), D831-D847 (2021).">Bastian, F. B., et al. The Bgee suite: Integrated curated expression atlas and comparative transcriptomics in animals. Nucleic Acids Res. 49 (D1), D831-D847 (2021).
  46. Comparative Toxicogenomics Database (CTD): Update 2023. Nucleic Acids Res. 51 (D1), D1257-D1262 (2023).">Davis, A. P., et al. Comparative Toxicogenomics Database (CTD): Update 2023. Nucleic Acids Res. 51 (D1), D1257-D1262 (2023).
  47. ClinGen - The clinical genome resource. N Engl J Med. 372 (23), 2235-2242 (2015).">Rehm, H. L., et al. ClinGen - The clinical genome resource. N Engl J Med. 372 (23), 2235-2242 (2015).
  48. ClinVar: Improvements to accessing data. Nucleic Acids Res. 48 (D1), D835-D844 (2020).">Landrum, M. J., et al. ClinVar: Improvements to accessing data. Nucleic Acids Res. 48 (D1), D835-D844 (2020).
  49. The human disease ontology 2022 update. Nucleic Acids Res. 50 (D1), D1255-D1261 (2022).">Schriml, L. M., et al. The human disease ontology 2022 update. Nucleic Acids Res. 50 (D1), D1255-D1261 (2022).
  50. The DisGeNET cytoscape app: Exploring and visualizing disease genomics data. Comput Struct Biotechnol J. 19, 2960-2967 (2021).">Piñero, J., Saüch, J., Sanz, F., Furlong, L. I. The DisGeNET cytoscape app: Exploring and visualizing disease genomics data. Comput Struct Biotechnol J. 19, 2960-2967 (2021).
  51. DrugBank 6.0: The DrugBank knowledgebase for 2024. Nucleic Acids Res. 52 (D1), D1265-D1275 (2024).">Knox, C., et al. DrugBank 6.0: The DrugBank knowledgebase for 2024. Nucleic Acids Res. 52 (D1), D1265-D1275 (2024).
  52. GRNdb: Decoding the gene regulatory networks in diverse human and mouse conditions. Nucleic Acids Res. 49 (D1), D97-D103 (2021).">Fang, L., et al. GRNdb: Decoding the gene regulatory networks in diverse human and mouse conditions. Nucleic Acids Res. 49 (D1), D97-D103 (2021).
  53. The Gene Ontology resource: enriching a GOld mine. Nucleic Acids Res. 49 (D1), D325-D334 (2021).">Gene Ontology Consortium. The Gene Ontology resource: enriching a GOld mine. Nucleic Acids Res. 49 (D1), D325-D334 (2021).
  54. Genenames.org: The HGNC resources in 2023. Nucleic Acids Res. 51 (D1), D1003-D1009 (2023).">Seal, R. L., et al. Genenames.org: The HGNC resources in 2023. Nucleic Acids Res. 51 (D1), D1003-D1009 (2023).
  55. NCATS Inxight Drugs: A comprehensive and curated portal for translational research. Nucleic Acids Res. 50 (D1), D1307-D1316 (2022).">Siramshetty, V. B., et al. NCATS Inxight Drugs: A comprehensive and curated portal for translational research. Nucleic Acids Res. 50 (D1), D1307-D1316 (2022).
  56. KEGG: New perspectives on genomes, pathways, diseases and drugs. Nucleic Acids Res. 45 (D1), D353-D361 (2017).">Kanehisa, M., Furumichi, M., Tanabe, M., Sato, Y., Morishima, K. KEGG: New perspectives on genomes, pathways, diseases and drugs. Nucleic Acids Res. 45 (D1), D353-D361 (2017).
  57. Medical Subject Headings (MeSH). Bull Med Libr Assoc. 88 (3), 265-266 (2000).">Lipscomb, C. E. Medical Subject Headings (MeSH). Bull Med Libr Assoc. 88 (3), 265-266 (2000).
  58. medRxiv. , (2022).">Vasilevsky, N. A., et al. Mondo: Unifying diseases for the world, by the world. medRxiv. , (2022).
  59. BioThings SDK: A toolkit for building high-performance data APIs in biomedical research. Bioinformatics. 38 (7), 2077-2079 (2022).">Lelong, S., et al. BioThings SDK: A toolkit for building high-performance data APIs in biomedical research. Bioinformatics. 38 (7), 2077-2079 (2022).
  60. OMIM.org: Leveraging knowledge across phenotype-gene relationships. Nucleic Acids Res. 47 (D1), D1038-D1043 (2019).">Amberger, J. S., Bocchini, C. A., Scott, A. F., Hamosh, A. OMIM.org: Leveraging knowledge across phenotype-gene relationships. Nucleic Acids Res. 47 (D1), D1038-D1043 (2019).
  61. PathFX provides mechanistic insights into drug efficacy and safety for regulatory review and therapeutic development. PLoS Comput Biol. 14 (12), e1006614(2018).">Wilson, J. L., et al. PathFX provides mechanistic insights into drug efficacy and safety for regulatory review and therapeutic development. PLoS Comput Biol. 14 (12), e1006614(2018).
  62. PharmGKB, an Integrated resource of pharmacogenomic knowledge. Curr Protoc. 1 (8), e226(2021).">Gong, L., Whirl-Carrillo, M., Klein, T. E. PharmGKB, an Integrated resource of pharmacogenomic knowledge. Curr Protoc. 1 (8), e226(2021).
  63. The reactome pathway knowledgebase 2022. Nucleic Acids Res. 50 (D1), D687-D692 (2022).">Gillespie, M., et al. The reactome pathway knowledgebase 2022. Nucleic Acids Res. 50 (D1), D687-D692 (2022).
  64. The SIDER database of drugs and side effects. Nucleic Acids Res. 44 (D1), D1075-D1079 (2016).">Kuhn, M., Letunic, I., Jensen, L. J., Bork, P. The SIDER database of drugs and side effects. Nucleic Acids Res. 44 (D1), D1075-D1079 (2016).
  65. SMPDB 2.0: Big improvements to the small molecule pathway database. Nucleic Acids Res. 42 (Database issue), D478-D484 (2014).">Jewison, T., et al. SMPDB 2.0: Big improvements to the small molecule pathway database. Nucleic Acids Res. 42 (Database issue), D478-D484 (2014).
  66. STRING v11: Protein-protein association networks with increased coverage, supporting functional discovery in genome-wide experimental datasets. Nucleic Acids Res. 47 (D1), D607-D613 (2019).">Szklarczyk, D., et al. STRING v11: Protein-protein association networks with increased coverage, supporting functional discovery in genome-wide experimental datasets. Nucleic Acids Res. 47 (D1), D607-D613 (2019).
  67. Therapeutic target database update 2022: Facilitating drug discovery with enriched comparative data of targeted agents. Nucleic Acids Res. 50 (D1), D1398-D1407 (2022).">Zhou, Y., et al. Therapeutic target database update 2022: Facilitating drug discovery with enriched comparative data of targeted agents. Nucleic Acids Res. 50 (D1), D1398-D1407 (2022).
  68. The Unified Medical Language System (UMLS): Integrating biomedical terminology. Nucleic Acids Res. 32 (Database issue), D267-D270 (2004).">Bodenreider, O. The Unified Medical Language System (UMLS): Integrating biomedical terminology. Nucleic Acids Res. 32 (Database issue), D267-D270 (2004).
  69. Unification of multi-species vertebrate anatomy ontologies for comparative biology in Uberon. J Biomed Semantics. 5, 21(2014).">Haendel, M. A., et al. Unification of multi-species vertebrate anatomy ontologies for comparative biology in Uberon. J Biomed Semantics. 5, 21(2014).
  70. UniProt: the Universal Protein Knowledgebase in 2023. Nucleic Acids Res. 51 (D1), D523-D531 (2023).">UniProt Consortium. UniProt: the Universal Protein Knowledgebase in 2023. Nucleic Acids Res. 51 (D1), D523-D531 (2023).
  71. Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. Lewis, M., et al. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, , 7871-7880 (2020).
  72. Cloud-based phrase mining and analysis of user-defined phrase-category association in biomedical publications. J Vis Exp. (144), e59108(2019).">Sigdel, D., et al. Cloud-based phrase mining and analysis of user-defined phrase-category association in biomedical publications. J Vis Exp. (144), e59108(2019).
  73. FM. ArXiv. , (2023).">Ferrara, E. Should ChatGPT be biased? Challenges and risks of bias in large language models. FM. ArXiv. , (2023).
  74. ArXiv. , (2023).">Gallegos, I. O., et al. Bias and fairness in large language models: A Survey. ArXiv. , (2023).
  75. Fighting reviewer fatigue or amplifying bias? Considerations and recommendations for use of ChatGPT and other large language models in scholarly peer review. Res Integr Peer Rev. 8 (1), 4(2023).">Hosseini, M., Horbach, S. P. J. M. Fighting reviewer fatigue or amplifying bias? Considerations and recommendations for use of ChatGPT and other large language models in scholarly peer review. Res Integr Peer Rev. 8 (1), 4(2023).
  76. Kotek, H., Dockum, R., Sun, D. Gender bias and stereotypes in Large Language Models. Proceedings of The ACM Collective Intelligence Conference, , 12-24 (2023).
  77. Prompting techniques for reducing social bias in LLMs through System 1 and System 2 Cognitive Processes. ArXiv. , (2024).">Kamruzzaman, M., Kim, G. L. Prompting techniques for reducing social bias in LLMs through System 1 and System 2 Cognitive Processes. ArXiv. , (2024).
  78. ArXiv. , (2024).">Raza, S., Raval, A., Chatrath, V. MBIAS: Mitigating bias in large language models while retaining context. ArXiv. , (2024).
  79. ArXiv. , (2023).">Chen, B., Zhang, Z., Langrené, N., Zhu, S. Unleashing the potential of prompt engineering in Large Language Models: A comprehensive review. ArXiv. , (2023).
  80. ArXiv. , (2023).">White, J., et al. A prompt pattern catalog to enhance prompt engineering with ChatGPT. ArXiv. , (2023).
  81. Prompt engineering as an important emerging skill for medical professionals: Tutorial. J Med Internet Res. 25, e50638(2023).">Meskó, B. Prompt engineering as an important emerging skill for medical professionals: Tutorial. J Med Internet Res. 25, e50638(2023).
  82. ArXiv. , (2023).">Wang, J., et al. Prompt Engineering for Healthcare: Methodologies and applications. ArXiv. , (2023).
  83. ArXiv. , (2023).">Luo, Y., et al. An empirical study of catastrophic forgetting in large language models during continual fine-tuning. ArXiv. , (2023).
  84. Retrieval meets Long Context Large Language Models. ArXiv. , (2023).">Xu, P., et al. Retrieval meets Long Context Large Language Models. ArXiv. , (2023).
  85. ArXiv. , (2023).">Chen, S., Wong, S., Chen, L., Tian, Y. Extending context window of Large Language Models via positional interpolation. ArXiv. , (2023).
  86. ArXiv. , (2024).">Labrak, Y., et al. BioMistral: A collection of open-source pretrained large language models for medical domains. ArXiv. , (2024).
  87. BioGPT: Generative pre-trained transformer for biomedical text generation and mining. Brief Bioinform. 23 (6), bbac409(2022).">Luo, R., et al. BioGPT: Generative pre-trained transformer for biomedical text generation and mining. Brief Bioinform. 23 (6), bbac409(2022).
  88. ArXiv. , (2024).">Wang, C., et al. A survey for large language models in biomedicine. ArXiv. , (2024).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Biomedical Knowledge BasesExplainable AIKnowledge GraphRetrieval Augmented GenerationLarge Language ModelsText Mining AnalysisHypothesis ValidationDrug Disease RelationshipsAgentic SystemsCardiomyopathy Therapeutics

Related Articles