Method Article

증거 기반 지식 종합 및 가설 검증: 설명 가능한 AI 및 에이전트 시스템을 통한 생물의학 지식 기반 탐색

DOI:

10.3791/67525

⸱

June 13th, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department of Physiology, UCLA School of Medicine, 2Scalable Analytics Institute (ScAi) at Department of Computer Science, UCLA School of Engineering, 3Medical Informatics, University of California at Los Angeles (UCLA), 4Department of Medicine (Cardiology), UCLA School of Medicine

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 기사에서는 대규모 언어 모델(LLM) 추론과 RAG(Retrieval-Augmented Generation)를 통합하는 RUGGED(Retrieval Under Graph-Guided Explainable disease Distinction)에 대해 설명합니다. 전문가가 선별한 생물의학 지식 기반 및 동료 검토를 거친 생물의학 출판물에서 증거를 도출하여 최신 정보에서 새로운 지식을 종합하고, 설명 가능하고 실행 가능한 예측을 식별하고, 가설 기반 조사를 위한 유망한 방향을 정확히 찾아냅니다.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

과학 문헌과 선별된 지식 기반에 걸친 생물 의학 지식의 규모는 연구자가 연구 결과를 효과적으로 처리, 평가 및 해석하는 데 있어 상당한 도전을 제기합니다. 대규모 언어 모델(LLM)은 이러한 복잡한 지식 환경을 탐색하기 위한 강력한 도구로 부상했지만 환각 반응을 유발할 수 있습니다. RAG(Retrieval-Augmented Generation)는 정확성과 신뢰성을 높이기 위해 관련 정보를 식별하는 데 필수적입니다. 이 프로토콜은 지식 통합을 지원하고, 편향을 완화하고, 새로운 연구 방향을 탐색 및 검증하도록 설계된 포괄적인 워크플로우인 RUGGED(Retrieval Under Graph-Guided Explainable disease Distinction)를 도입합니다. 출판물 및 지식 기반의 생물 의학 정보는 텍스트 마이닝 연관성 분석 및 설명 가능한 그래프 예측 모델을 통해 종합 및 분석되어 잠재적인 약물-질병 관계를 밝힙니다. 이러한 결과는 소스 텍스트 말뭉치 및 지식 기반과 함께 RAG로 향상된 LLM을 사용하는 프레임워크에 통합되어 사용자가 가설을 탐색하고 기본 메커니즘을 조사할 수 있도록 합니다. 임상 사용 사례는 부정맥성 심근병증(ACM) 및 확장성 심근병증(DCM)에 대한 치료법을 평가 및 권장하고 분자 상호 작용 및 잠재적인 새로운 응용 분야에 대한 처방 약물을 분석하는 RUGGED의 능력을 보여줍니다. 이 플랫폼은 LLM 환각을 줄이고, 실행 가능한 통찰력을 강조하며, 새로운 치료법에 대한 조사를 간소화합니다.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

생물의학 기업에서 가설 탐구 과정은 발병기전의 기저에 있는 새로운 분자-약물-질병 상호 의존성을 밝히고 치료 잠재력을 여는 데 필수적입니다 1,2. 이 프로세스는 기존 생물의학 지식에서 증거를 도출하고, 동료 검토 문헌(예: PubMed의 >36 보고서)에 포함된 논리적 단서를 기반으로 새로운 결과를 종합하고, 생물의학 지식 기반에 뿌리를 둔 신뢰도가 높은 선별된 증거를 통합합니다. 최근의 발전은 관련 정보를 종합하고 조사를 위한 새로운 방법을 발견하기 위해 문헌 corpra 3,4,5에 텍스트 마이닝을 적용하고 그래프 기반 분석6,7,8,9을 사용함으로써 힘든 수동 작업을 줄입니다. 이러한 노력에도 불구하고 현재의 접근 방식은 단편화된 데이터로 인해 심층적인 컨텍스트 이해를 지원하지 않는 경우가 많습니다. 또한 증거에 기반한 추론을 도출하고 새로운 가설을 대화식으로 탐색할 수 있는 능력이 부족합니다.

최근 대규모 언어 모델(LLM)의 발전은 이러한 과제에 대한 새로운 시각을 제시하며, 여러 분야에 걸쳐 방대한 양의 정보에 대한 교육을 통해 높은 수준의 맥락 이해를 보여주었습니다 10,11,12. 생물의학 영역에서, LLM은 환자 정보13 및 일반 임상 질문 답변14,15을 추출하는 데 유망한 역할을 보여주었지만, 도메인 특정 질문 답변16 및 1차 임상 진료17 의 유용성17 에 대한 응용 프로그램은 여전히 연구되어야 합니다. 이러한 모델은 복잡한 데이터 세트에서 추론하고 추론을 도출하는 능력을 보여주므로 가설 탐색 및 지식 종합을 수행하는 데 잠재적으로 적합합니다. 또한 일부 모델은 채팅과 같은 상호 작용을 통해 사용자의 참여를 유도하고 주제에 대한 동적 탐색을 가능하게 하여 쿼리 기반 검색 엔진 및 지식 기반의 기존 경계를 뛰어넘습니다18,19.

이러한 잠재력 외에도 LLM은 정보의 환각 가능성, 잠재적으로 부정확한 설명에 대한 근거 없는 확신 표시, 해석 가능성 부족, 편향되거나 부적절한 콘텐츠에 취약한 것과 같은 중요한 문제에 직면해 있습니다 20,21,22,23,24. 임상적 의사 결정을 안내하는 데 직접 적용되는 LLM에서 파생된 반응 및 예측은 높은 위험을 가지고 있습니다. 오류는 잠재적으로 비용이 많이 드는 실험실 실험을 초래하거나 환자의 건강 궤적에 부정적인 영향을 미칠 수 있습니다 25,26. 따라서 신뢰할 수 있고 신뢰할 수 있는 LLM 응답이 가장 중요하며, 이들의 조언은 증거에 확고하게 뿌리를 두고 있어야 합니다. 이러한 시나리오에서 해석 가능성은 사치가 아니라 이러한 모델이 예측을 수행하는 이유를 이해하는 데 필요합니다.

이를 위해 RAG(Retrieval-Augmented Generation)는 LLM 환각을 최소화하도록 설계된 시스템으로, LLM 반응을 증거에 근거하여 정확성과 신뢰성을 향상시킵니다27,28. 이 접근 방식은 일반적으로 LLM(예: ChatGPT)을 PubMed와 통합하는 것과 같은 관련 텍스트 구절의 검색을 포함하여 사용자 쿼리29,30에 대한 관련 인용을 식별할 수 있습니다. 텍스트에 국한되지 않고, 지식 그래프(KG)에 대한 검색은 사실 확인 31,32,33, 투명 추론 34,35,36, 지식 인코딩 37, 질문 답변 개선38 및 지식 그래프 완성39과 같은 작업에 대한 LLM에 적용할 수 있는 가능성을 보여줍니다. KG는 검증된 출처에서 사실에 입각한 정보를 인코딩함으로써 LLM 응답의 정확성, 투명성 및 신뢰성을 향상시킵니다. 이 그래프 내의 링크 예측 기술은 딥 러닝을 활용하여 분자, 약물 및 질병 간의 이전에 숨겨진 관계를 식별합니다 5,40,41. 최근 설명 가능한 AI 예측의 발전은 이러한 링크 예측 작업의 투명성과 해석 가능성을 더욱 향상시켜 생물 의학 가설을 연구를 위한 실행 가능한 방법으로 해석하는 데 잠재적인 지원을 제공합니다 42,43,44. 이러한 발전은 LLM에서 생성된 반응이 균형 잡히고 증거에서 도출되도록 하여 생물 의학 기업에서의 적용 가능성을 크게 높입니다.

이 프로토콜은 RUGGED(Retrieval Under Graph-Guided Explainable disease Distinction)를 임상 치료 통찰력의 탐색 및 검증을 위한 접근 가능하고 효율적인 워크플로우로 제시합니다(그림 1). 이 워크플로우 프로토콜은 관련 정보의 추출 및 검증을 위해 생물의학 문헌 및 지식 기반의 방대한 리소스를 활용하여 쿼리 맞춤형 검색 프로세스를 가능하게 합니다(그림 2). 설명 가능한 인공 지능 예측 모델을 사용하여 기존 생물 의학 지식에서 해석 가능하고 실행 가능한 통찰력을 발견함으로써 예측 모델의 투명성과 유용성을 향상시킵니다. 완성된 워크플로우는 RAG 지원 LLM을 통해 지식 그래프 및 모델 예측의 탐색을 간소화하여 연구자, 임상의 및 임상 전문가를 위한 직관적이고 정보에 입각한 상호 작용을 촉진합니다.

이 섹션에서는 프로토콜의 기초를 마련하며, 다음 섹션에 설명된 이 접근 방식을 구현하는 단계를 설명합니다. 다음으로, 분자 상호 작용에 대한 약물 평가와 심혈관 의학을 위한 치료 전략에 적용되는 이 접근 방식을 입증하기 위한 중개 임상 사용 사례를 소개합니다. 마지막으로 이 프로토콜의 의미와 논의에 대해 논의합니다.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 프로토콜은 Python 3.10에서 개발되었으며 Windows에서 Docker 컨테이너로 구현되었습니다. 제공된 명령은 Docker 컨테이너 내의 Unix 환경을 기반으로 합니다. 이 소프트웨어는 https://github.com/pinglab-utils/RUGGED 에서 사용할 수 있습니다. 표 1 은 프로토콜의 모든 단계에 대한 예상 계산 시간을 나타냅니다.

1. 소프트웨어 설치

  1. 재료 표의 지침에 따라 필수 구성 요소 소프트웨어를 설치합니다.
    참고: 이 프로토콜에는 버전 제어, 컨테이너화, 그래프 데이터베이스 및 LLM(Large Language Model) 서비스가 필요합니다. 버전 제어 및 컨테이너화는 선택 사항이지만 설정 프로세스를 간소화할 수 있습니다. 그래프 데이터베이스 및 LLM 서비스는 사용자가 기술적으로 능숙한 경우 유사한 도구로 대체될 수 있습니다.
    1. 컨테이너 간 네트워킹을 구성합니다. Docker 컨테이너가 장치의 다른 서비스(예: 다른 Docker 컨테이너)에 연결되도록 구성합니다. 터미널에 docker network create rugged_network 명령을 입력합니다.
  2. 대규모 언어 모델(LLM) 서비스를 설정합니다. 상용 LLM 서비스 또는 사용자 장치에서 실행되는 로컬 모델의 서비스 중에서 사용 사례에 적합한 LLM 서비스를 선택합니다. 최소 하나의 LLM 서비스가 지정되었는지 확인하되, 에이전트를 혼합하고 일치시켜 다른 모델을 활용할 수 있습니다.
    1. 로컬 LLM 서비스를 시작합니다. 그래픽 사용자 인터페이스(GUI)를 사용하여 Ollama를 사용하는 경우 GUI 실행 파일(예: ollama.exe)을 실행합니다. Docker를 사용하는 경우 'docker run -name ollama --net rugged_network d -v ollama:/root/.ollama -p 11434:11434 ollama/ollama'를 실행합니다. GPU 가속과 함께 Docker를 사용하는 경우 GPU 드라이버가 설치되어 있는지 확인하고 'docker run -name ollama --net rugged_network -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 ollama/ollama'를 실행합니다.
    2. 로컬 LLM 모델을 초기화합니다. 지원되는 모델 중에서 사용할 모델을 결정합니다(예: 권장: llama3, mistral, mixtral. Docker를 사용하는 경우 명령줄에 'docker exec run ollama run '를 입력합니다. Ollama GUI를 사용하는 경우 'ollama run '를 입력하고 를 각각의 모델 이름으로 바꿉니다.
  3. 그래프 데이터베이스 서비스를 시작합니다. 그래프 데이터베이스 서비스를 Docker 컨테이너, 데스크톱 애플리케이션, 온라인 웹 서비스 중 선택합니다. 보충 자료의 설치 지침에 따라 설정을 완료합니다.
  4. RUGGED 환경을 설정합니다. docker images를 입력하여 다운로드한 Docker 이미지를 확인합니다. 이전 단계의 모든 Docker 이미지가 나열되어 있는지 확인합니다. 터미널에서 다음 명령을 실행하여 RUGGED Docker 이미지 및 코드를 다운로드합니다.
    docker pull pinglabutils/rugged:최신
    참고 : git clone https://github.com/pinglab-utils/RUGGED
    1. 상용 LLM 서비스를 구성합니다. 상용 LLM 서비스를 사용하는 경우 계정 및 관련 API 키에 충분한 자금이 있는지 확인하십시오. 'RUGGED/config/openai_key.txt'에서 구성 파일을 편집하고 파일에 API 키를 추가하여 RUGGED 구성 파일을 수정합니다.
    2. 상용 에이전트를 구성합니다. RUGGED 시스템 내에서 이 서비스를 사용할 LLM 에이전트를 확인합니다. 'RUGGED/config/llm_agents.json'에서 구성 파일을 수정하고 에이전트 필드를 업데이트하여 모델 버전을 지정합니다. 권장 모델: gpt-3.5-turbo, gpt-4o.
    3. 로컬 LLM 서비스를 구성합니다. 'http://localhost:11434'에서 Ollama의 기본 엔드포인트와 다른 서비스 엔드포인트를 사용하는 경우 'RUGGED/config/ollama_config.json'의 구성 파일 내에서 'OLLAMA_URI' 필드를 수정하고 업데이트합니다.
    4. 로컬 LLM 에이전트를 구성합니다. RUGGED 시스템 내에서 이 서비스를 사용할 LLM 에이전트를 확인합니다. 'RUGGED/config/llm_agents.json'에서 구성 파일을 수정하고 에이전트 필드를 업데이트하여 'ollama'를 선택한 모델로 지정합니다.
    5. 그래프 데이터베이스 엔드포인트를 구성합니다. Neo4j의 기본 암호 및 사용자 이름에서 수정한 경우 'RUGGED/config/neo4j_config.json' 구성 파일을 편집하여 'uri', 'username' 및 'password' 필드를 업데이트합니다.
  5. 다음 명령을 실행하여 RUGGED 서비스를 시작합니다.
    도커 실행 --name rugged -it --net rugged_network --gpus=all -v \RUGGED\:/data ping-lab-
    utils : RUGGED / bin / bash
    참고: 서비스가 예상대로 작동하는지 확인하려면 RUGGED 디렉토리로 이동하여 1.4.1단계를 실행합니다. 1.4.4단계를 진행합니다. 이 터미널 창에서.
    1. LLM 서비스 기능을 확인합니다. RUGGED 디렉터리의 test 폴더로 이동하고 다음 명령을 실행하여 OpenAI 및/또는 Ollama 서비스가 작동하는지 확인합니다.
      파이썬 test_openai.py
      파이썬 test_ollama.py
    2. 명명된 엔터티 인식 서비스 기능을 확인합니다. 'test_ner.py'를 실행하여 사용자 쿼리의 명명된 엔터티 인식을 위한 코드가 제대로 작동하는지 확인합니다.
    3. Neo4j 서비스 기능을 확인합니다. 테스트 스크립트를 실행하여 'python test_neo4j.py'를 입력하여 Neo4j 서비스가 예상대로 작동하는지 확인합니다.
    4. (선택 사항) 그래프 데이터베이스에 대한 HTTP 액세스를 확인합니다. 웹 브라우저를 열고 Neo4j 사용자 인터페이스를 방문하십시오.
      참고: Docker 또는 Desktop의 Neo4j의 경우 기본 URL은 'http://localhost:7474'입니다. Neo4j AuraDB의 경우 설정 중에 제공된 링크를 사용하십시오.
  6. (선택 사항) 문제를 해결합니다. 문제를 예측하기 위해 소프트웨어 설정 중에 RUGGED를 지원하는 서비스를 검증해야 합니다. 1.4단계에서 실패한 테스트 문제를 해결합니다. 존재하는 경우 문제를 설명하는 테스트 스크립트에서 보고한 오류 메시지를 따릅니다.
    1. Docker 컨테이너를 확인합니다. RUGGED Docker 컨테이너, Neo4j Docker 컨테이너(선택 사항) 및 Ollama Docker 컨테이너(선택 사항)를 포함하여 터미널에서 'docker ps'를 사용하여 모든 Docker 컨테이너가 실행 중인지 확인합니다.
    2. 네트워킹 포트를 확인합니다. Docker 서비스의 경우 올바른 포트가 열려 있는지 확인하고 'docker logs neo4j' 또는 'docker logs ollama'를 사용하여 로그를 확인합니다.
      참고: 기본적으로 Neo4j는 http에 포트 7474를 사용하고 볼트 인터페이스에 포트 7687을 사용합니다. Ollama는 포트 11434를 사용합니다.
    3. 서비스 응용 프로그램을 확인합니다. 장치에 직접 설치된 애플리케이션(예: Ollama 및 Neo4j Desktop)의 경우 애플리케이션을 열어 실행 중인지 확인합니다.
    4. 웹 서비스를 확인합니다. Neo4j AuraDB의 경우 웹 사이트에 로그인하여 서비스가 실행 중인지 확인하십시오.
    5. 방화벽 규칙을 확인합니다. 방화벽이 외부 서비스를 차단하지 않도록 장치 방화벽 규칙을 수정합니다.
    6. 장치를 다시 시작합니다. 문제가 해결되지 않으면 장치를 다시 시작하고 1.5.1단계부터 다시 시도합니다.
    7. 문제를 엽니다. 문제가 지속되면 RUGGED GitHub(https://github.com/pinglab-utils/RUGGED)에서 문제를 제기하세요.

2. 생물 의학 지식 및 추출 정보에 액세스

참고: 이 단계에서는 RUGGED의 RAG(Retrieval Augmented Generation) 시스템을 구성하는 기본 정보인 (1) CaseOLAP LIFT 생체 의학 텍스트 마이닝 파이프라인5 및 (2) Know2BIO 지식 그래프 구성 워크플로우9라는 두 가지 지식 추출 파이프라인을 간략하게 설명합니다. 사용자 지정 데이터와 함께 RUGGED를 사용하려면 4단계로 진행합니다.

  1. 생물 의학 문헌을 추출합니다. 생물 의학 문헌 텍스트 마이닝을 통해 세포 내 단백질 및 질병과의 연관성을 조사하도록 설계된 컴퓨터 프로토콜인 CaseOLAP LIFT를 사용하여 관련 문서 및 높은 수준의 단백질-질병 관계를 식별합니다. 이 단계를 완료하여 이러한 보고서의 대상 통찰력으로 RAG 워크플로우를 알리는 데 필요한 정보를 준비합니다.
    1. CaseOLAP LIFT 텍스트 마이닝 분석을 실행합니다. CaseOLAP LIFT JoVE 프로토콜을 방문하십시오(이 분석에는 4-5단계가 필요하지 않음).
    2. 처리된 텍스트 문서를 이동합니다. 3단계에서 구문 분석된 생물 의학 문서(pubmed.json)와 전체 텍스트(pmid2full_text_sections.json)가 CaseOLAP LIFT 데이터 폴더에 있는지 확인합니다. 아래 명령을 사용하여 이러한 파일을 RUGGED 데이터 폴더로 이동합니다.
      MV /caseolap_lift/caseolap_lift_shared_folder/데이터/pubmed.json /RUGGED/데이터/text_corpus
      MV /caseolap_lift/caseolap_lift_shared_folder/데이터/pmid2full_text_sections.json /RUGGED/데이터/text_corpus
    3. 텍스트 마이닝 결과를 이동합니다. 단백질-질병 연관성이 있는 지식 그래프 파일(merged_edge_list.tsv)이 result/kg 폴더에 생성되었는지 확인합니다. 1-3단계에서 선택한 설정에 따라 연결 수가 예상한 대로인지 확인합니다(예: 표 2 참조). 이 파일을 RUGGED의 데이터 폴더로 이동합니다.
      mv /caseolap_lift/caseolap_lift_shared_folder/result/graph_data/ merged_edge_list.tsv /RUGGED/data/knowledge_graph
  2. 생물 의학 지식을 추출합니다. 30개의 생물의학 지식 기반의 데이터를 통합하는 Know2BIO 소프트웨어를 사용하여 생물의학 지식 그래프를 조합합니다. 이 단계를 완료하여 이러한 생물 의학 관계 및 다중 모드 데이터에 대한 정보가 다운스트림 RAG 워크플로우를 지원하도록 처리되도록 합니다.
    1. Know2BIO 저장소를 복제합니다. 아래 명령을 사용하여 명령줄에 입력하여 리포지토리를 복제합니다. Know2BIO 저장소로 이동합니다.
      git clone https://github.com/Yijia-Xiao/Know2BIO.git.
    2. 데이터 및 라이선스를 준비합니다. 데이터셋 폴더로 이동하여 'README.md' 파일의 지침을 따릅니다. 다양한 온라인 리소스(예: UMLS 동의어 사전, Drug Bank)에 액세스하는 데 필요한 사용자 계정 생성을 완료합니다.
    3. 기술 자료 리소스를 다운로드합니다. 'python create_edge_files.py' 스크립트를 실행하고 지식 그래프 추출 파이프라인의 진행 상황을 모니터링합니다. 생체 의학 관계를 나타내는 'Know2BIO/dataset/output' 폴더의 .csv 파일이 생성되었는지 확인합니다.
    4. 지식 그래프를 구성합니다. 'python prepare_kgs.py' 스크립트를 실행하여 이전 단계에서 추출한 정보를 통합하고 추출된 관계를 통합 지식 그래프로 자동으로 결합하고 데이터 소스 및 도메인별로 그래프 형식을 지정합니다.
    5. 출력을 확인합니다. 완료된 파일이 'Know2BIO/dataset/know2bio_dataset' 디렉토리의 'whole_kg.txt' 파일 내에 있는지 확인합니다. 파일의 가장자리 수가 예상한 대로인지 확인합니다. 표 3을 보면 600만 개 이상의 엣지가 생성되었습니다. Know2BIO README의 나머지 단계는 이 분석에 필요하지 않으므로 다음 단계를 진행하십시오.
      참고: 표 3 에 있는 Know2BIO의 관계는 ATC(세계보건기구), Bgee45, CTD46, ClinGen47, ClinVar48, DOID49, DisGeNET50, DrugBank51, GRNdb52, Gene Ontology53, HGNC54, Hetionet3, Inxight Drugs55, KEGG56, MeSH57, Mondo58, MyChem.info59, MyDisease.info 등 31개 출처의 출처였습니다.59, MyGene.info59, OMIM60, PathFX61, PharmGKB62, PubMed, Reactome63, SIDER64, SMPDB65, STRING66, TTD67, UMLS68, Uberon69 및 UniProt70.
    6. 지식 그래프 결과를 이동합니다. 파일을 RUGGED 디렉토리의 '/data/knowledge_graph/'로 이동합니다.
      mv /Know2BIO/데이터셋/know2bio/whole_kg.txt /RUGGED/데이터/knowledge_graph
  3. 결합된 지식 그래프를 구성합니다. 이전 단계의 그래프를 2.1단계의 텍스트 마이닝에서 높은 수준의 단백질-질병 관계와 통합하여 하나의 통합된 지식 그래프로 만듭니다.
    1. RUGGED 디렉토리에서 결과를 확인합니다. 지식 그래프 구성 결과 파일(whole_kg.txt)과 텍스트 마이닝 관계 결과(merged_edge_list.tsv)가 데이터 폴더 내의 knowledge_graph 디렉터리에 있는지 확인합니다.
    2. 결과를 통합합니다. 'combine_kg_results.py' 스크립트를 실행하여 텍스트, 마이닝, 분석 및 지식 그래프 구성에서 추출된 관계와 엔터티를 하나의 응집력 있는 지식 그래프로 병합합니다. 아래 예제 명령을 따릅니다.
      python rugged / knowledge_graph / combine_kg_results.py ./data / knowledge_graph / merged_edge_list.tsv ./data / knowledge_graph / whole_kg.txt --output_dir ./data / rugged_knowledge_graph
  4. 지식 그래프를 필터링합니다. (선택 사항) 예측 분석에 사용할 지식 그래프의 하위 집합을 샘플링합니다. 이 단계는 밀접하게 관련된 관계만 유지하고 딥 러닝 예측을 실행하는 데 필요한 계산 리소스를 줄입니다.
    1. 관련 노드를 식별합니다. 3단계에서 예측 분석을 위해 관심 있는 생물 의학 실체를 결정하려면 지식 그래프를 검토하고 관련 노드를 정확히 찾아냅니다.
      참고: 이 프로토콜은 부정맥성 심근병증(ACM) 및 확장성 심근병증(DCM)의 질병 노드에 초점을 맞추며, 각각 MeSH_Disease: D019571 및 MeSH_Disease: D002311입니다. 대상 노드는 의도한 사용 사례에 맞게 조정되어야 합니다.
    2. 지식 그래프의 샘플입니다. 'filter.py' 스크립트를 사용하여 선택한 관심 노드에서 k-hop 내에서 도달할 수 있는 지식 그래프 하위 그래프를 추출합니다. 선택한 질병 노드에서 2개 노드 내에서 연결할 수 있는 그래프를 필터링하는 아래 예제 명령을 따릅니다.
      python ./rugged/knowledge_graph/kg_filter.py --k 2 --disease "MeSH_Disease:D019571,MeSH_Disease:D002311" --input_file ./data/rugged_knowledge_graph/rugged_knowledge_graph_edges.csv —output_dir ./data/rugged_knowledge_graph/filtered_kg/.
      참고: k-hop 값(--k)을 늘리면 예측 분석을 위해 그래프 내의 데이터 범위가 확장되지만 더 많은 계산 리소스가 필요합니다.

3. 설명 가능한 예측 분석

참고: Graph Convolutional Network 모델에서 GNNExplainer44 를 실행하여 지식 그래프의 잠재적 에지(관계)를 예측하고 이전에 알려지지 않은 연관성에 대한 통찰력을 제공합니다.

  1. RUGGED Docker 컨테이너가 실행 중인지 확인합니다. 이전 터미널 창이 닫혀 있는 경우 'docker exec --it rugged /bin/bash' 명령을 사용하여 Docker 컨테이너에 연결합니다. Docker 컨테이너에 연결되면 RUGGED 디렉터리로 이동합니다.
  2. 예측할 간선을 결정합니다. 간선을 .txt 파일의 노드 쌍으로 제공합니다(예: edges_to_predict.txt). 지식 그래프에 이미 존재하는 엣지는 예측에서 필터링됩니다.
  3. 예측 분석 스크립트를 실행합니다. 예측할 간선과 입력 지식 그래프를 예측을 위한 명령줄 인수로 지정합니다. 주요 인수: -p(가장자리 파일 경로), -i(입력 지식 그래프), -o(출력 디렉터리), -n(상위 예측, 예: 5), -k(시각화할 상위 가장자리, 예: 10). 예제 명령:
    python rugged/predictive_analysis/generate_explainable_prediction.py -o output -n 5 -k 10 -p ./output/edges_to_predict.txt -i ./data/rugged_knowledge_graph/filtered_kg/filtered_k2_edges.csv
  4. 모델 성능을 평가합니다. 이전 단계에서 생성된 터미널 출력 또는 'output.log' 파일을 검사하여 필터링된 지식 그래프를 85:5:10 비율로 학습, 검증 및 테스트 세트로 분할하여 모델 성능을 평가합니다. 성능이 예상과 다를 경우 표 4 를 예로 들어 모델 인수를 조정합니다.
  5. 결과가 출력 폴더에 있는지 확인합니다. 'prediction_results.csv'에서 모델 결과를 검토하고 출력 폴더 내에서 상위 n개의 예측을 검토합니다. 출력 폴더에서 상위 n개의 예측을 검토합니다. 각 예측에 대해 그래프 시각화는 각 예측에 기여하는 가장 적절한 가장자리와 상대적 중요도 점수를 보여줍니다.
  6. 예측 해석 결과를 이동합니다. 예측 분석 결과가 만족스러우면 결과를 RUGGED 디렉토리의 'data/predictions/'로 이동합니다.

4. 가설 생성

  1. RUGGED Docker 컨테이너에 연결합니다.
    1. RUGGED Docker 컨테이너가 실행 중인지 확인합니다. 이전 터미널 창이 닫혀 있는 경우 Docker 컨테이너에 연결합니다.
    2. RUGGED 디렉토리로 이동합니다. 연결되면 cd /workspace/RUGGED 를 입력하여 디렉터리로 이동합니다. 이 명령줄 창에서 나머지 단계를 실행합니다.
    3. 지원 서비스가 실행 중인지 확인합니다. Docker에서 Ollama 및 Neo4j를 사용하는 경우 'docker ps'를 입력하여 컨테이너가 실행 중인지 확인합니다. 1.7단계를 반복하여 서비스가 제대로 작동하는지 확인하고 1.4단계를 반복하여 문제가 있는 경우 해결합니다.
  2. RAG 데이터를 준비합니다. 검색할 지식 그래프와 텍스트 말뭉치를 준비합니다.
    참고: 이러한 데이터는 각각 'data/knowledge_graph/' 및 'data/text_corpus/' 디렉토리에 데이터를 배치하여 사용자 정의 데이터로 대체할 수 있습니다. 이러한 데이터는 GitHub 리포지토리(https://github.com/pinglab-utils/RUGGED/tree/main/data)의 형식을 따라야 합니다.
    1. 리소스를 확인합니다. 텍스트 말뭉치가 'data/text_corpus/' 디렉터리에 있고, 텍스트 마이닝 예측 파일이 있는 지식 그래프가 data/knowledge_graph/ 디렉터리에 있으며, 예측 결과가 data/predictions/ 디렉터리에 있는지 확인합니다(각각 2.1.2., 2.3.2. 및 3.5. 단계에서).
    2. 그래프 데이터베이스를 채웁니다. 'python ./neo4j/prepare_neo4j.py' 명령을 실행하여 필요한 노드, 에지 및 노드 기능을 만듭니다.
    3. 텍스트 말뭉치를 색인화합니다. 'python ./text/prepare_corpus.py' 명령을 실행하여 텍스트 말뭉치를 인덱싱하고, BART71을 사용하여 벡터 데이터베이스를 생성하기 위해 문서를 500개의 토큰 섹션으로 청크화하여 RUGGED가 사용자 쿼리를 기반으로 관련 텍스트 문서를 검색할 수 있도록 합니다.
    4. 선택 사항) 그래프 데이터베이스 검색을 테스트합니다. Neo4j 데이터베이스에 테스트 쿼리를 보내 올바르게 채워지고 예상 결과를 반환할 수 있는지 확인합니다. 출력이 데이터베이스의 예상 노드 및 관계와 일치하는지 확인합니다. 예제 명령:
      python ./test/test_neo4j_retrieval.py --query "MATCH(n) RETURN n LIMIT 5"
    5. (선택 사항) RAG 말뭉치 검색을 테스트합니다. RAG 텍스트 모음에 테스트 쿼리를 보내 텍스트 검색 시스템이 작동하는지 확인합니다. 검색된 문서가 쿼리와 관련이 있고 임베딩이 예상대로 작동하는지 확인합니다. 예제 명령: python ./test/test_literature_retrieval.py --query "심혈관 질환을 치료하기 위해 베타 차단제를 사용하는 것과 관련된 문서는 무엇입니까?"
  3. RUGGED와 상호 작용하십시오. 명령줄 인터페이스에서 RUGGED를 시작하여 시스템과 상호 작용합니다. 'python rugged.py' 명령을 실행합니다. 시스템을 쿼리하여 지식 그래프 및 텍스트 말뭉치와 상호 작용하는 특정 명령을 사용하여 관련 정보를 검색합니다.
    1. 지식 그래프를 쿼리합니다. 키워드 "query"로 시작하는 자연어로 질문을 제기하여 지식 그래프에서 특정 정보를 추출합니다. 예를 들어:
      쿼리 "현재 베타 차단제, 항부정맥제, 항섬유화제로 분류되는 약은 무엇입니까?"
    2. 예측을 살펴보세요. 3단계의 링크 예측 분석을 탐색하고 "predict"라는 키워드로 시작하는 특정 관계를 검색하도록 요청합니다. 예를 들어:
      "이러한 약물 중 현재 알려지지 않은 ACM 및/또는 DCM을 치료하는 데 잠재적으로 사용될 수 있는 약물은 무엇입니까?"
    3. 문헌 검색에 대해 알아보십시오. 2단계에서 특정 생물 의학 주제와 관련된 문서를 살펴봅니다. 자연어로 질문을 제기하고 "검색"이라는 키워드로 시작합니다. 예를 들어:
      "이러한 예측된 약물이 ACM 및/또는 DCM을 치료하는 데 사용될 수 있다는 주장을 뒷받침하는 문헌 증거는 무엇입니까?"
    4. 쿼리를 반복하고 구체화합니다. 명령줄에서 직접 응답하여 RUGGED의 채팅과 같은 인터페이스를 사용하여 문의를 반복하고 구체화할 수 있습니다. 이전 사용자 시스템 대화를 참조하여 질문 및 쿼리를 수정하고 구체화합니다.
    5. Neo4j에서 Cypher 명령을 다시 실행합니다. (선택 사항) 정보를 검색하는 데 사용되는 제공된 Cypher 명령을 조정하여 지식 그래프 쿼리 결과를 구체화합니다. 1.4.4단계에서 Neo4j 브라우저 인터페이스(예: http://localhost:7474)를 방문하여 이 명령을 다시 실행하거나 수정합니다. 필요에 따라 Cypher 명령을 붙여넣고 수정하여 쿼리를 구체화하고 보다 구체적인 인사이트를 수집합니다.
    6. 대화를 요약합니다. 검색된 정보를 검토하고 RUGGED와의 대화를 요약합니다. summarize 키워드를 입력하여 나중에 분석할 수 있도록 상호 작용에 대한 요약을 텍스트 파일로 출력합니다. 전체 텍스트 응답이 터미널에 표시됩니다.
    7. 요약을 마무리하기 전에 가독성과 간결성을 위해 시스템 응답을 검사하고 수정하여 출력의 정확성을 향상시키기 위해 인간 참여형(human-in-the-loop) 검토를 수행합니다.
    8. 채팅 로그를 검토합니다. RUGGED의 로그 폴더에서 상호 작용의 전체 텍스트를 검사합니다. 문제 해결 및 재현성을 위해 RUGGED 내에서 LLM 에이전트 간의 이러한 중간 명령 및 대화를 유지합니다.
  4. RUGGED를 종료하고 다시 시작합니다.
    1. Docker 컨테이너 ID를 가져옵니다. 'docker ps' 명령을 사용하여 실행 중인 모든 컨테이너를 나열하고 RUGGED, Neo4j 및 Ollama에 대한 컨테이너 ID를 가져옵니다. 다음 모든 명령에서 , 및 를 실제 컨테이너 ID로 바꿉니다.
    2. Docker 컨테이너를 중지합니다. 컨테이너 ID를 사용하여 RUGGED 및 관련 Docker 컨테이너를 종료합니다.
      도커 중지
      도커 중지
      도커 중지
      참고: 잠재적인 데이터 손실을 방지하고 모든 프로세스가 제대로 닫히도록 장치를 종료하기 전에 이러한 컨테이너를 중지하는 것이 좋습니다.
    3. Docker 컨테이너를 다시 시작합니다. RUGGED 시스템을 다시 시작하려면 컨테이너 ID를 사용하여 필요한 Docker 컨테이너를 시작합니다.
      도커 시작
      도커 시작
      도커 시작
    4. Docker 네트워크에 다시 연결합니다. 필요한 경우 다음 명령을 사용하여 컨테이너를 네트워크에 다시 연결합니다.
      도커 네트워크 연결 rugged_network
      도커 네트워크 연결 rugged_network
      도커 네트워크 연결 rugged_network
    5. 서비스 기능을 확인합니다. 다시 시작할 때 1.4-1.5단계를 반복하여 소프트웨어가 예상대로 작동하는지 확인합니다.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이러한 대표적인 결과는 이 프로토콜에 설명된 절차에 따라 얻은 것입니다. CaseOLAP LIFT 프로토콜5 에 따라 기본 매개변수와 함께 텍스트 마이닝 연관성 분석을 수행하여 8개의 광범위한 심혈관 질환범주 72 및 미토콘드리아 단백질(GO:0005739)과의 연관성을 연구했습니다. 2024년 5월까지 총 635,696건의 보고가 이러한 질병과 관련된 것으로 확인되었습니다. 그 중 4,655개의 신뢰도가 높은 단백질-질병 연관성이 확인되어 다운스트림 분석에 정보를 제공했습니다. 생물의학 지식 그래프는 2024년 5월9의 기본 설정을 사용하여 Know2BIO의 소프트웨어 코드를 사용하여 구성되었습니다. 결과 지식 그래프는 219,450개의 노드, 6,323,257개의 가장자리 및 노드 설명, 단백질/유전자 서열, 화학 구조 등이 있는 189,493개의 노드 기능으로 구성됩니다. 프로토콜의 모든 단계에 대한 예상 계산 시간은 표 1에 나와 있습니다.

RUGGED 시스템은 지식 그래프 노드 및 기능과 CVD 관련 출판물 모두에 대한 벡터 데이터베이스를 구축하여 초기화되었습니다. 모든 지식 그래프 노드, 에지 및 노드 기능은 RAG 벡터 검색을 준비하기 위해 BART71 임베딩 모델을 사용하여 20개의 토큰으로 구성된 청크 크기로 처리되었습니다. 마찬가지로, 원본 기고 및 리뷰 논문은 RAG 벡터 검색을 준비하기 위해 500개 토큰의 청크 크기와 BART 임베딩 모델을 사용하여 처리되었습니다. 문헌 검색을 위해 500개 이상의 토큰이 있는 전체 텍스트 출판물은 BART 임베딩 모델에 의해 출판물의 개별 섹션을 기반으로 계층적으로 요약되었습니다. GPT-4o 모델은 시스템의 나머지 LLM 에이전트에 사용되었습니다.

이러한 대표적인 결과는 각각 MeSH_Disease: D019571 및 MeSH_Disease: D002311로 식별된 부정맥성 심근병증(ACM) 및 확장성 심근병증(DCM)에 대한 잠재적 약물 치료제를 조사하기 위한 예시 사용 사례를 보여줍니다. 일련의 질의는 그림 3에 요약되어 있으며, 그림 4에 표시된 모델 응답의 강조 표시된 예와 보충 파일 1, 섹션 A에 보고된 전체 응답이 있습니다. 조사 방향은 연구자가 검증한 응답에 맞게 조정되었으며, 이전 응답의 결과를 기반으로 후속 질문을 작성했습니다. 분석 결과 베타 차단제와 항부정맥제로 분류된 11개의 약물 후보가 밝혀졌습니다. 치료 치료를 위한 새로운 방법은 연구 질병 및 약물 노드 및 이들의 상호 연결로부터 1홉 이내의 노드 및 이들의 상호 연결을 포함하여 전체 지식 그래프의 하위 집합에서 Graph Convolutional Neural Network 링크 예측 모델을 사용하여 평가되었으며, 표 4 에 보고된 평가 메트릭이 있습니다. 모델에 의한 각 예측에 대한 상위 10개의 관련 엣지는 그래프 설명 가능성 모듈인 GNNExplainer44에 의해 추가로 조사되어 각 예측에 기여하는 상위 노드와 엣지를 각각 식별했습니다. 이 사용 사례에 대한 RUGGED 프로토콜의 모든 단계에 상용 LLM을 사용하는 총 비용은 작성 당시 $1.50로 추정됩니다.

figure-results-1
그림 1: RUGGED(Graph-Guided Explainable disease Distinction) 워크플로우에 따른 검색. RUGGED는 (1) 윤리적으로 소싱되고 전문적으로 관리되는 리소스(예: PubMed 및 선별된 생물의학 지식 기반)에서 데이터를 수집 및 처리하고, (2) 동료 검토를 거친 연구 결과를 통합 지식 그래프에 통합, (3) 데이터베이스 서비스 내에서 텍스트 및 그래프 데이터 구조화, (4) 지식 그래프 내에서 생물 의학 엔터티 간의 설명 가능한 관계를 모델링하고 예측합니다. (5) 복잡한 분자 관계를 검증하고 AI 기반 질병 예측을 탐색하기 위해 RAG(Retrieval Augmented Generation) 워크플로(그림 2)를 통해 지식을 검색 및 합성합니다. 사용자는 출력의 정확성을 높이기 위해 human-in-the-loop 검토 단계를 수행할 수 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-results-2
그림 2: 검색 아키텍처 및 편향 완화 워크플로. RAG(Retrieval Augmented Generation) 프레임워크는 여러 LLM 에이전트를 사용하며, 각 에이전트는 특정 작업을 실행하여 사용자 쿼리를 기반으로 관련 정보에 대한 액세스를 지원합니다. 이 시스템은 사용자 대면 GPT 기반 추론 에이전트에 대한 문서화된 증거를 제공하여 사용자-에이전트 상호 작용 및 지식 통합을 용이하게 합니다. (1) Biomedical Text Retrieval: 동료 심사를 거친 원본 기고 및 검토 논문은 질병 연관성 이해와의 관련성에 따라 필터링됩니다. 벡터 데이터베이스는 출판물의 해당 섹션을 기반으로 가중치가 부여되는 저자 및 편집자 검증 텍스트 증거에 대해 구축됩니다(각각 70% 초록, 10% 결과, 10% 메타데이터, 기타 모든 하위 섹션에 대해 10%). 사용자 쿼리의 텍스트 임베딩에 대한 키워드 검색 및 유사성 검색은 함께 관련 문서를 식별합니다. 각 문서의 요약은 BERT 기반 요약기를 사용하여 생성되며, GPT 기반 Text Evaluator Agent는 쿼리를 구체화하여 쿼리 문서 관련성을 검증합니다. (2) 지식 그래프 검색: BERT 기반 명명된 엔터티 인식 및 GPT 기반 관계 추출 모듈은 사용자 쿼리를 지식 그래프의 관련 엔터티에 연결합니다. 벡터 데이터베이스의 유사성 검색은 관련 노드와 간선을 식별합니다. 데이터는 GPT 기반 Cypher 쿼리 에이전트에 의해 생성되고 쿼리 검증 에이전트에 의해 구체화된 Cypher 쿼리를 통해 Neo4j 데이터베이스에서 검색됩니다. (3) Biomedical Text Retrieval 또는 Knowledge Graph Retrieval 파이프라인의 개별 응답은 사용자의 쿼리에 대한 편향을 최소화하면서 간결한 응답을 합성하는 Reasoning Agent에 제공됩니다. 이 시스템은 사실에 입각한 정보를 제공할 때 정확성과 공정성을 유지하기 위해 안내됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-results-3
그림 3: 쿼리 캐스케이드를 통한 지식 종합 및 가설 탐색에 대한 사용 사례. 이 그림은 연구자 및/또는 의료 전문가가 RUGGED 시스템에 제기할 수 있는 일련의 관련 질문 및 개념에 초점을 맞춘 강조 표시된 사용 사례를 보여줍니다. 사용자의 쿼리는 숫자 순서로 시스템에 표시되며, 화살표는 각 질문 중에서 추론된 논리적 및 도메인별 추론을 나타냅니다. 시스템은 암시적 및 관련 정보(파란색으로 표시된 소스)에서 검색하여 쿼리에 응답합니다. 시스템 응답의 예는 그림 4에 나와 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-results-4
그림 4: 심혈관 병리학 사용 사례: CVD 발병 기전 설명. 사용자와 RUGGED 시스템 간의 쿼리-응답 쌍이 표시됩니다. 왼쪽 상단 패널에서 질문 1-6은 지식 그래프 데이터베이스에서 정보를 추출하여 증거에 기반한 응답을 공식화하여 정보를 검색합니다. 질문 7은 설명 가능한 그래프 링크 예측을 사용하여 최고 점수를 받은 치료법을 식별합니다. 쿼리는 예측 분석을 요청하며, 이는 시스템에 의해 자동으로 실행 및 처리되며 주요 결과는 간결하게 요약됩니다. 질문 8은 예측된 결과를 확인, 검증 및 확증하기 위해 관련 증거로 검색되는 정의된 텍스트 데이터 말뭉치에서 문헌 증거를 평가합니다. 시스템 응답은 human-in-the-loop 검사 프로세스에 의해 검토되었으며 가독성과 간결성을 위해 수정되었습니다. 이러한 연구 결과의 전체 기록은 보충 파일 1에 자세히 설명되어 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

단계묘사시간
생물 의학 지식에 대한 접근총 30%
생물 의학 문헌 말뭉치 준비PubMed 및 PubMed Central에 연결하여 다운스트림 작업을 위한 출판물 데이터를 다운로드하고 구문 분석합니다.20%
기술 자료 데이터 준비생물 의학 기술 자료에 연결하고, 다운스트림 작업에 필요한 정보를 다운로드 및 구문 분석합니다.5%
정보 추출총 30%
CaseOLAP LIFT 텍스트 마이닝 분석생물의학 텍스트 말뭉치 내에서 높은 수준의 질병-단백질 관계를 식별합니다.25%
지식 그래프 구성생물 의학 지식 기반의 서로 다른 정보를 연결하고 통합 지식 그래프로 통합합니다.5%
예측 분석총 10%
그래프 신경망 훈련시키기생물 의학 지식 그래프 데이터에서 모델을 학습시켜 그래프 내에 숨겨진 패턴을 학습합니다.5%
관련성 순위 분석설명 가능성 모듈을 적용하여 질병 연구와 관련된 가장 적절한 노드와 가장자리를 강조 표시합니다.2.5%
링크 예측설명 가능성 모듈을 활용하여 새로운 예측 에지에 기여하는 주요 노드와 에지를 식별합니다.2.5%
가설 생성 및/또는 검증총 30%
Retrieval Augmented Generation을 위한 데이터베이스 설정지식 그래프를 쿼리하기 위해 그래프 데이터베이스를 초기화하고 텍스트 검색을 위해 벡터 데이터베이스를 초기화합니다.25%
가설 탐구RUGGED와의 사용자 상호 작용을 통해 가설 탐색을 위한 관련 정보에 액세스하고 면밀히 조사할 수 있습니다.5%

표 1: 워크플로우 및 속도 제한 단계. 이 표는 워크플로의 각 단계에 필요한 계산 시간을 대략적으로 예측합니다. 속도 제한 단계에는 검색 증강 생성에 필요한 생물 의학 지식에 대한 액세스, 추출 및 인덱싱이 포함됩니다. 가설 탐색은 속도 제한 단계를 다시 실행할 필요 없이 지속적으로 반복될 수 있습니다.

질병 범주MeSH 트리 번호# PMID# 원본 기여# 리뷰 기사
심근병증(CM)C14.280.238132,531102,33719,942
C14.280.434
심장 부정맥(ARR)C14.280.067125,28692,37413,854
C23.550.073
선천성 심장 결함(CHD)C14.280.40082,00654,0236,379
심장 판막 질환(VD)C14.280.48472,01650,1195,743
심근허혈(IHD)C14.280.647256,986210,04230,223
심장 전도계 질환(CCD)C14.280.12353,05035,3994,363
심실유출폐해(Ventricular Outflow Obstruction, VOO)C14.280.95522,24415,5041,686
기타 심장 질환(OTH)C14.280.195 C14.280.282 C14.280.383 C14.280.470 C14.280.945 C14.280.459 C14.280.720114,08577,30211,799
합계635,696478,40469,690

표 2: 생물의학 문헌 통계. 이 표는 해당 MeSH 트리 번호와 텍스트 마이닝을 위한 말뭉치로 사용되는 2024년 5월까지 검색된 PubMed 문서의 수와 함께 연구 질병 범주를 자세히 설명합니다. 독창적인 기여도 연구 논문과 리뷰 논문으로 구성된 이러한 출판물의 하위 집합은 가설 생성 중에 RUGGED에서 검색할 수 있도록 벡터 데이터베이스에 색인화됩니다.

범주노드 수모서리의 개수데이터 소스
해부학5,049122,533Bgee, PubMed, MeSH, 우베론, 
생물학적 과정27,047108,106유전자 온톨로지
셀룰러 구성 요소4,05752,238유전자 온톨로지
화합물27,2783,292,028DrugBank, MeSH, CTD, UMLS, KEGG, TTD, SIDER, Inxight Drugs, Hetionet, PathFX, MyChem.info
질병21,938311,773PubMed, MeSH, DisGeNET, SIDER, ClinVar, ClinGen, PharmGKB, MyDisease.info, PathFX, UMLS, OMIM, Mondo, DOID, KEGG
의약품 종류5,7218,283전륜차
유전자29,810943,419HGNC, GRNdb, 케그, 클린바, 클린젠,
분자 기능11,15147,086SMPDB, 디스제넷, PharmGKB, MyGene.info
통로52,012234,944유전자 온톨로지
단백질20,7401,074,809리액톰, KEGG, SMPDB
반응14,647128,038UniProt, 리액톰, TTD, SMPDB, STRING, HGNC
소계219,4506,323,257리액톰
텍스트 마이닝 협회84,670
합계219,4586,327,927

표 3: 지식 그래프 통계. 이 표는 텍스트 마이닝 분석 및 예측 분석에서 파생된 추가 에지로 보강된 구성된 Know2BIO 지식 그래프를 구성하는 11개의 광범위한 생물 의학 범주에 대해 자세히 설명합니다. 결과 지식 그래프 및 예측은 가설 생성 중에 RUGGED에 의한 검색을 위해 Neo4j 그래프 데이터베이스에 의해 관리됩니다.

정밀정밀기억F1 점수오록증권 시세 표시기
유효성 검사0.71580.66390.87430.75470.84370.8637
테스트0.7030.63670.94550.7610.89610.9094

표 4: 설명 가능한 AI 모델 평가. 이 표는 2계층 그래프 컨볼루션 신경망을 사용하여 지식 그래프 링크 예측에 대한 평가 메트릭을 보고합니다. 메트릭은 그래프 가장자리를 85% 훈련, 5% 검증 및 10% 테스트 데이터 세트로 분할하여 평가되었습니다. 정확도는 올바르게 분류된 예측의 비율을 나타냅니다. Precision은 모든 긍정적 예측에서 올바른 긍정적 예측의 비율을 보고합니다. 재현율은 실제 양수 가장자리 중에서 올바른 양수 예측의 비율을 측정합니다. F1 점수는 정밀도와 재현율의 조화 평균으로, 두 지표의 균형을 맞춥니다. AUROC는 긍정적 예측과 부정적 예측을 구별하는 모델의 능력을 평가합니다. AUPRC는 서로 다른 임계값에 걸쳐 정밀도와 재현율 간의 균형을 정량화합니다. 모든 메트릭에서 값이 높을수록 더 나은 모델 성능을 나타냅니다.

보충 파일 1: 이 파일은 RUGGED의 전체 모델 응답과 GPT-4o와의 비교에 대해 자세히 설명합니다. 섹션 A 는 RUGGED와의 완전한 인간-컴퓨터 상호 작용을 제시하며, 그림 3 에 요약된 쿼리 체인 접근 방식을 확장하고 그림 4에 강조 표시된 요약을 넘어서는 완전한 응답을 제공합니다. 섹션 B 는 검색 없이 GPT-4o의 응답을 RUGGED와 비교하여 정밀도, 깊이, 신뢰도 점수, 증거 신뢰성 및 비용과 같은 속성을 평가합니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

RUGGED 프로토콜은 최신 정보와 함께 최신 언어 모델을 활용하여 연구자가 진화하는 생물 의학 환경을 동적으로 탐색하고 새로운 지식을 발견할 수 있도록 지원합니다. 이러한 인간-컴퓨터 상호 작용은 기계(RUGGED)의 효율성과 조사자의 전문성 및 판단력을 보여주는 혁신적인 프로세스를 추진합니다. 이 프로토콜은 요약된 순서로 실행되도록 설계되었습니다. 1단계에서는 소프트웨어 설치에 대해 자세히 설명합니다. 2단계와 3단계는 생물의학 문헌 및 자료를 준비하는 데 필수적이며, 4단계는 검색 증강 생성 및 LLM 시스템과의 사용자 상호 작용을 위해 이 정보를 색인화합니다. 시간이 많이 걸리는 단계는 동시에 및/또는 순차적으로 실행될 수 있습니다. 예를 들어, Neo4j 그래프 생성(단계 4.2.2)은 예측 분석(단계 3) 중에 시작할 수 있으며, 인덱싱은 지식 그래프(단계 2.3) 및 텍스트 마이닝(단계 2.1)을 구성한 후에 시작할 수 있습니다. 이러한 중간 결과의 최종 결과를 얻으려면 이러한 단계를 반복해야 합니다. 이 프로토콜은 생체 의학 정보 검색을 위해 설계되었지만, 약간의 수정을 통해 사내 데이터, 임상 기록 또는 전자 건강 기록과 같은 다른 텍스트 및 그래프 데이터도 처리할 수 있습니다. 데이터 형식 지정에 대한 자세한 내용은 4.2단계에 있습니다.

이 플랫폼의 작동은 언어 모델, 그래프 데이터베이스 및 벡터 데이터베이스를 포함한 여러 기술의 적절한 설치 및 상호 연결에 달려 있습니다( 재료 표 참조). 이러한 서비스가 제대로 설치 및 연결되었는지 확인하기 위해 GitHub 리포지토리 내의 'test' 폴더에 테스트 스크립트가 제공됩니다. 외부 서비스에는 비용이 발생할 수 있으며 가격은 공급업체에 의해 변경될 수 있습니다. 또한 이러한 선택적 서비스에는 로컬에서 호스팅되는 대안이 있어 충분한 계산 리소스만 필요합니다. 그러나 이러한 대안은 모델 성능 및/또는 편의성에 영향을 미칠 수 있으므로 일부 사용 사례 시나리오에는 적합하지 않을 수 있습니다.

LLM 환경이 빠르게 발전함에 따라 새로운 랜드마크 모델과 작업별 모델이 정기적으로 출시됩니다. 이 보고서 작성 당시에는 작업에 가장 적합한 모델이 선택되었습니다. 사용자는 그에 따라 구성 파일을 업데이트하여 사용할 LLM을 선택할 수 있습니다(1.3.2-1.3.4 단계 참조). 모델 선택은 특정 사용 사례와의 관련성에 따라 달라집니다. 예를 들어, 모델 응답이 공정하고, 검열되고, 혐오 발언이 없도록 하는 데 중점을 둔 모델을 이 워크플로우에 통합하는 것은 윤리적 고려 사항에 필수적입니다. 또한 LLM 79,80,81,82에서 신뢰할 수 있고 책임감 있는 행동을 안내하기 위해서는 신속한 엔지니어링이 필수적입니다. RUGGED 워크플로우를 위해 제작된 프롬프트는 사용된 모델과 제시된 사용 사례에 맞게 조정됩니다. 다른 사용 사례에 대한 프롬프트를 미세 조정하기 위해 사용자는 'prompts.json' 파일 내의 'configuration' 폴더에 있는 RUGGED 워크플로 내에서 프롬프트를 편집할 수 있습니다.

RAG 시스템은 증거를 바탕으로 반응을 근거로 하여 LLM의 환각을 줄이는 것을 목표로 하지만, 이러한 모델은 여전히 부정확한 정보 또는 일반적으로 사실이고 비특이적 반응으로 이어질 수 있습니다. GPT-4o에 대한 RUGGED의 벤치마크 비교는 보충 파일 1, 섹션 B에 나와 있습니다. 검색된 정보가 모델의 컨텍스트 창을 초과할 때 모델 환각이 자주 발생하며, 이는 기억 상실 및 데이터 콘텐츠를 찾을 수 없는 치매와 유사하여 부정확한 응답을 초래합니다 83,84,85. 적절한 LLM 모델을 선택하면 이 문제를 완화하는 데 도움이 됩니다. 예를 들어, GPT-4o는 128k 토큰의 컨텍스트 제한을 가지고 있으며, 이는 GPT-3.5 Turbo의 16k 토큰 제한보다 훨씬 높지만 사용자에게 더 높은 비용을 제공합니다. 또한, 특정 도메인 지식으로 미세 조정된 LLM은 잠재적으로 생물 의학 응용 분야에서 반응의 정확성과 특이성을 향상시킬 수 있습니다 86,87,88. 이러한 조치에도 불구하고 비용이 많이 드는 습식 실험실 실험을 진행하기 전에 정보를 교차 확인하는 것이 필수적입니다.

RUGGED는 RAG 파이프라인 내에서 설명 가능한 AI를 활용하여 링크 예측을 면밀히 조사하고 신뢰할 수 있는 관계와 이전에 발견되지 않은 관계를 모두 식별합니다. 기존 RAG 시스템은 대량 유사성 기반 검색에 의존하지만, 이 접근 방식은 설명 가능성을 표적 반응 증강과 연결합니다. 표 4 는 모델의 강력한 성능을 강조하며, 높은 재현율(검증: 0.975, 테스트: 0.976)과 균형 잡힌 F1 점수(검증: 0.796, 테스트: 0.797)를 보여주며, 거짓 긍정 비율이 더 높음에도 불구하고 참 긍정을 식별하는 데 있어 신뢰성을 나타냅니다. 이 모델의 견고성은 AUROC(검증: 0.963, 테스트: 0.964) 및 AUPRC(검증: 0.971, 테스트: 0.972) 값으로 더욱 뒷받침됩니다. 그러나 정밀도(검증: 0.673, 테스트: 0.674)는 임계값 조정, 세부 노드 기능 통합 또는 클래스 불균형 처리 개선의 이점을 얻을 수 있습니다. 모델의 효율성은 입력 지식 그래프에 크게 의존합니다. 과적합은 그래프가 작을수록 위험하지만, 그래프가 클수록 더 많은 계산 리소스가 필요합니다. 그러나 모든 RAG 기반 접근 방식은 검색의 기반이 되는 데이터의 품질에 크게 좌우됩니다. 예를 들어, 지식 그래프의 구성은 원래 그래프의 내재적 노이즈로 인해 시간과 노동 집약적인 경우가 많습니다. 이를 위해서는 노이즈를 제거하고 레이블을 지정하기 위한 수동 작업뿐만 아니라 데이터베이스의 유지 관리 및 업데이트에 대한 지속적인 비용이 필요합니다.

RUGGED의 주요 용도는 지식 종합 및 가설 탐색입니다. RUGGED는 질병 메커니즘 및 약물 치료와 같은 다양한 숨겨진 관계를 조사함으로써 문헌 분류를 효율적으로 수행합니다. 컴퓨팅 부담을 줄이기 위해 대부분의 애플리케이션을 서버(예: AWS 또는 컴퓨팅 서버)에서 호스팅하고 최신 정보로 주기적으로 업데이트하도록 구성할 수 있습니다. 또한 이 워크플로우는 보안, 개인 정보 보호 및 기밀성을 유지하기 위해 로컬 모델에 환자 데이터를 포함하는 플랫폼 역할을 하는 것과 같은 도메인별 애플리케이션을 달성하도록 조정할 수 있습니다. RUGGED의 모듈식 설계를 통해 생체 의학 연구를 넘어 RAG 파이프라인을 사용자 정의하고 대상 도메인에 맞게 조정된 엔지니어링 전략을 프롬프트하여 정보 검색, 추론 및 요약 전반에 걸쳐 작업을 지원할 수 있습니다. 성공적인 적응을 위해서는 다양한 데이터 형식의 전처리, 작업 및 도메인별 요구 사항에 적합한 모델 평가와 같은 도메인별 문제를 신중하게 고려해야 합니다.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

저자는 공개할 내용이 없습니다.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

저자는 Alex Bui 박사의 지도와 사려 깊은 토론에 감사드립니다. 또한 도움이 되는 토론에 대해 Ding Wang 박사님께 감사드립니다. 이 작업은 NIH 1U54HG012517-01에서 P.P., K.W. 및 W.W.에 의해 부분적으로 지원되었습니다. NIH T32 HL13945에서 ARP로; ARP에 1829071 National Science Foundation Research Traineeship(NRT); UCLA의 P.P.에 대한 TC Laubisch Endowment.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
하드웨어/소프트웨어 - 그래픽 카드 및 소프트웨어 드라이버Nvidiahttps://www.nvidia.com그래픽 카드 및 관련 드라이버 소프트웨어는 로컬 LLM 및 예측 분석과 같은 계산 집약적인 작업의 런타임을 크게 줄이는 데 적극 권장됩니다. NVIDIA RTX GPU가 장착된 장치의 경우 NVIDIA 웹사이트(https://developer.nvidia.com/cuda-downloads)에서 필요한 드라이버와 CUDA 툴킷을 다운로드하여 설치하세요.
소프트웨어 - 상용 대규모 언어 모델 서비스OpenAIhttps://openai.comRUGGED는 GPT-3.5 및 GPT-4o와 같은 모델에 대한 OpenAI API를 지원합니다. OpenAI 모델을 사용하여 설정하려면 먼저 OpenAI API 키를 얻으십시오. OpenAI 웹사이트(https://openai.com/blog/openai-api)로 이동하여 계정을 만들고, 자금을 충전하고, API 키를 얻으세요. 이 API 키는 RUGGED가 OpenAI 모델을 사용할 수 있도록 하는 데 필요합니다. RUGGED 시스템 내의 어떤 LLM 에이전트가 문서(https://platform.openai.com/docs/models)에서 OpenAI 모델을 사용할 것인지 결정합니다.
참고: OpenAI API는 유료 서비스입니다. 게시 당시 GPT-4o의 비용은 입력 토큰 100만 개당 5.00달러, 출력 토큰 100만 개당 2.50달러입니다(자세한 내용은 https://openai.com/pricing 참조).
소프트웨어 - 컨테이너화Dockerhttps://www.docker.comDocker는 일관된 계산 런타임 환경을 유지하고 다양한 시스템에서 소프트웨어 설치 및 실행을 간소화하는 데 도움이 됩니다. Docker를 설치하려면 Docker 웹 사이트(https://www.docker.com/)를 방문하여 '시작하기'를 클릭하고 OS에 적합한 버전을 다운로드하여 설치합니다. 터미널에 'docker --version'을 입력하여 설치를 확인합니다. 성공적인 설치는 설치된 Docker 버전을 보고합니다.
소프트웨어 - 그래프 데이터베이스Neo4jhttps://neo4j.comNeo4j는 그래프 기반 노드와 관계를 효율적으로 관리하고 쿼리하는 그래프 데이터베이스 소프트웨어입니다. RUGGED는 Docker 컨테이너, Neo4j Desktop 또는 Neo4j AuraDB 온라인 서버 등 다양한 형태의 Neo4j를 지원합니다. 사용 사례에 가장 적합한 옵션을 선택합니다.
Neo4j를 Docker 컨테이너로 설정합니다. 이 명령을 실행하여 폴더의 파일 경로(예: /Users/username/RUGGED)를 'PATH_TO_FOLDER'로 사용하여 Docker에서 Neo4j를 설정합니다. 문제 해결에 대한 자세한 내용은 Neo4j Docker 웹 사이트(https://hub.docker.com/_/neo4j)를 참조하십시오.
docker pull neo4j
docker run – 이름 neo4j --net rugged_network --publish=7474:7474 --publish=7687:7687 -d -v 'PATH_TO_FOLDER'\neo4j\data:/data neo4j
참고: 사용자 이름과 암호를 설정하여 처음으로 Docker에서 Neo4j를 초기화합니다. neo4j_setup.py 스크립트(예: python neo4j_setup.py)를 실행하거나 http://localhost:7474.
Neo4j Desktop 설정에서 웹 인터페이스를 통해 실행합니다. Neo4j Desktop을 사용하는 경우 Neo4j 웹사이트(https://neo4j.com/)에서 다운로드하여 설치하세요. "새로 만들기"를 클릭하여 새 프로젝트를 만든 다음 "추가"를 클릭하여 새 데이터베이스 관리 시스템(DBMS)을 만듭니다. "로컬 DBMS"를 선택하고 암호를 설정한 다음 "만들기"를 클릭한 다음 "시작"을 클릭합니다. 녹색 "ACTIVE" 텍스트는 실행 중임을 나타냅니다.
Neo4j AuraDB 설정. Neo4j 웹사이트(https://neo4j.com/cloud/aura-free/)를 방문하여 계정을 만들고 로그인하세요. "새 인스턴스"를 선택하여 빈 인스턴스를 만들고 볼트 인터페이스(예: bolt://myurl.neo4j.com)에 액세스하기 위한 URI와 초기 암호를 저장합니다. 재생 버튼을 클릭하여 인스턴스를 시작하면 정보 상자에 연결 URI가 표시됩니다.
참고: Neo4j AuraDB는 최대 200,000개의 노드와 400,000개의 관계에 대한 프리 티어를 제공합니다. 더 큰 그래프를 보려면 Neo4j 가격(https://neo4j.com/pricing)을 참조하세요.
소프트웨어 - 로컬 대규모 언어 모델 서비스Ollamahttps://ollama.comRUGGED는 Ollama(예: Llama3)를 사용하여 로컬 모델 사용을 지원합니다. 사용하도록 설정하려면 먼저 디바이스에 Ollama를 설치하거나 Docker 컨테이너를 다운로드합니다. Ollama를 설치하려면 Ollama 웹사이트(https://ollama.com/download)를 방문하여 설치 지침을 따르세요. Docker에 Ollama를 설치하려면 다음 명령을 실행합니다.
docker pull ollama/ollama
참고: 게시 시점에는 Windows OS에서 Ollama에 대한 안정적인 릴리스가 없습니다.
소프트웨어 - 버전 관리 Githttps://www.git-scm.com버전 관리 소프트웨어를 사용하면 소프트웨어를 효율적으로 설치하고 업데이트할 수 있습니다. Git을 설치하려면 Git 웹사이트(https://www.git-scm.com/)를 방문하여 '다운로드'를 클릭하고 OS에 적합한 버전을 다운로드하여 설치하세요. 터미널에 'git --version'을 입력하여 설치를 확인하세요. 성공적으로 설치하면 설치된 Git 버전이 보고됩니다.

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Bioinformatics in translational drug discovery. Biosci Rep. 37 (4), BSR20160180(2017).">Wooller, S. K., Benstead-Hume, G., Chen, X., Ali, Y., Pearl, F. M. G. Bioinformatics in translational drug discovery. Biosci Rep. 37 (4), BSR20160180(2017).
  2. Computational approaches streamlining drug discovery. Nature. 616 (7958), 673-685 (2023).">Sadybekov, A. V., Katritch, V. Computational approaches streamlining drug discovery. Nature. 616 (7958), 673-685 (2023).
  3. Systematic integration of biomedical knowledge prioritizes drugs for repurposing. eLife. 6, e26726(2017).">Himmelstein, D. S., et al. Systematic integration of biomedical knowledge prioritizes drugs for repurposing. eLife. 6, e26726(2017).
  4. Text mining and expert curation to develop a database on psychiatric diseases and their genes. Database (Oxford). 2017, bax043(2017).">Gutiérrez-Sacristán, A., et al. Text mining and expert curation to develop a database on psychiatric diseases and their genes. Database (Oxford). 2017, bax043(2017).
  5. A knowledge graph approach to elucidate the role of organellar pathways in disease via biomedical reports. J Vis Exp. (200), e65084(2023).">Pelletier, A. R., et al. A knowledge graph approach to elucidate the role of organellar pathways in disease via biomedical reports. J Vis Exp. (200), e65084(2023).
  6. A knowledge graph to interpret clinical proteomics data. Nat Biotechnol. 40 (5), 692-702 (2022).">Santos, A., et al. A knowledge graph to interpret clinical proteomics data. Nat Biotechnol. 40 (5), 692-702 (2022).
  7. PharmKG: A dedicated knowledge graph benchmark for bomedical data mining. Briefings in Bioinformatics. 22 (4), bbaa344(2021).">Zheng, S., et al. PharmKG: A dedicated knowledge graph benchmark for bomedical data mining. Briefings in Bioinformatics. 22 (4), bbaa344(2021).
  8. Biomedical knowledge graph-optimized prompt generation for large language models. Bioinformatics. 40 (9), btae560(2023).">Soman, K., et al. Biomedical knowledge graph-optimized prompt generation for large language models. Bioinformatics. 40 (9), btae560(2023).
  9. ArXiv. , (2023).">Xiao, Y., et al. Know2BIO: A comprehensive dual-view benchmark for evolving biomedical knowledge graphs. ArXiv. , (2023).
  10. Large language models in medicine. Nat Med. 29 (8), 1930-1940 (2023).">Thirunavukarasu, A. J., et al. Large language models in medicine. Nat Med. 29 (8), 1930-1940 (2023).
  11. ArXiv. , (2023).">Lehman, E., et al. Do we still need clinical language models. ArXiv. , (2023).
  12. Large language models encode clinical knowledge. Nature. 620, 172-180 (2022).">Singhal, K., et al. Large language models encode clinical knowledge. Nature. 620, 172-180 (2022).
  13. ArXiv. , (2022).">Agrawal, M., Hegselmann, S., Lang, H., Kim, Y., Sontag, D. Large language models are few-shot clinical information extractors. ArXiv. , (2022).
  14. Assessing the accuracy and reliability of AI-generated medical responses: An evaluation of the Chat-GPT model. Res Sq. , (2023).">Johnson, D., et al. Assessing the accuracy and reliability of AI-generated medical responses: An evaluation of the Chat-GPT model. Res Sq. , (2023).
  15. Evaluation of ChatGPT on biomedical tasks: A zero-shot comparison with fine-tuned generative transformers. Jahan, I., Laskar, M. T. R., Peng, C., Huang, J. The 22nd Workshop on Biomedical Natural Language Processing and BioNLP Shared Tasks, , 326-336 (2023).
  16. Assessing the accuracy of responses by the language model ChatGPT to questions regarding bariatric surgery. Obes Surg. 33 (6), 1790-1796 (2023).">Samaan, J. S., et al. Assessing the accuracy of responses by the language model ChatGPT to questions regarding bariatric surgery. Obes Surg. 33 (6), 1790-1796 (2023).
  17. Trialling a large language model (ChatGPT) in general practice with the applied knowledge test: observational study demonstrating opportunities and limitations in primary care. JMIR Med Educ. 9, e46599(2023).">Thirunavukarasu, A. J., et al. Trialling a large language model (ChatGPT) in general practice with the applied knowledge test: observational study demonstrating opportunities and limitations in primary care. JMIR Med Educ. 9, e46599(2023).
  18. ArXiv. , (2023).">Sun, W., et al. Is ChatGPT Good at search? Investigating large language models as re-ranking agents. ArXiv. , (2023).
  19. ArXiv. , (2023).">Xu, R., Feng, Y., Chen, H. ChatGPT vs. Google: A comparative study of search performance and user experience. ArXiv. , (2023).
  20. TruthfulQA: Measuring how models mimic human falsehoods. Lin, S., Hilton, J., Evans, O. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers, , 3214-3252 (2022).
  21. ArXiv. , (2023).">Manakul, P., Liusie, A., Gales, M. J. F. SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models. ArXiv. , (2023).
  22. FActScore: Fine-grained atomic evaluation of factual precision in long form text generation. Min, S., et al. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, , 12076-12100 (2023).
  23. Is ChatGPT fair for recommendation? Evaluating fairness in large language model recommendation. Proceedings of the 17th ACM Conference on Recommender Systems. , 993-999 (2023).">Zhang, J., et al. Is ChatGPT fair for recommendation? Evaluating fairness in large language model recommendation. Proceedings of the 17th ACM Conference on Recommender Systems. , 993-999 (2023).
  24. Building an ethical and trustworthy biomedical AI ecosystem for the translational and clinical integration of foundation models. Bioengineering. 11 (10), 984(2024).">Sankar, B. S., et al. Building an ethical and trustworthy biomedical AI ecosystem for the translational and clinical integration of foundation models. Bioengineering. 11 (10), 984(2024).
  25. ChatGPT and Other large language models are double-edged swords. Radiology. 307 (2), e230163(2023).">Shen, Y., et al. ChatGPT and Other large language models are double-edged swords. Radiology. 307 (2), e230163(2023).
  26. Ethics of large language models in medicine and medical research. Lancet Digit Health. 5 (6), e333-e335 (2023).">Li, H., et al. Ethics of large language models in medicine and medical research. Lancet Digit Health. 5 (6), e333-e335 (2023).
  27. ArXiv. , (2020).">Lewis, P., et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. ArXiv. , (2020).
  28. ArXiv. , (2023).">Gao, Y., et al. Retrieval-augmented generation for large language models: A survey. ArXiv. , (2023).
  29. PubTator central: Automated concept annotation for biomedical full text articles. Nucleic Acids Res. 47 (W1), W587-W593 (2019).">Wei, C. -H., Allot, A., Leaman, R., Lu, Z. PubTator central: Automated concept annotation for biomedical full text articles. Nucleic Acids Res. 47 (W1), W587-W593 (2019).
  30. ArXiv. , (2024).">Wei, C. -H., et al. PubTator 3.0: An AI-powered literature resource for unlocking biomedical knowledge. ArXiv. , (2024).
  31. Comparative Reasoning for knowledge graph fact checking. Liu, L., Ji, H., Xu, J., Tong, H. 2022 IEEE International Conference on Big Data (Big Data), , 2309-2312 (2022).
  32. Knowledge Graph reasoning and its applications. Liu, L., Tong, H. Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, , 5813-5814 (2023).
  33. ArXiv. , (2024).">Liu, L., et al. Logic query of thoughts: Guiding large language models to answer complex logic queries with knowledge graphs. ArXiv. , (2024).
  34. Barack's wife hillary: Using Knowledge graphs for fact-aware language modeling. Logan, R., Liu, N. F., Peters, M. E., Gardner, M., Singh, S. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, , 5962-5971 (2019).
  35. ArXiv. , (2024).">Sun, J., et al. Think-on-graph: Deep and responsible reasoning of large language model on knowledge graph. ArXiv. , (2024).
  36. ArXiv. , (2024).">Wen, Y., Wang, Z., Sun, J. MindMap: Knowledge Graph prompting sparks graph of thoughts in large language models. ArXiv. , (2024).
  37. ArXiv. , (2020).">Wang, C., Liu, X., Song, D. Language models are open knowledge graphs. ArXiv. , (2020).
  38. QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering. Yasunaga, M., Ren, H., Bosselut, A., Liang, P., Leskovec, J. Proceedings of the 2021 Conference of the North American Chapter of the, , 535-546 (2021).
  39. SimKGC: Simple contrastive knowledge graph completion with pre-trained language models. Wang, L., Zhao, W., Wei, Z., Liu, J. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers, , 4281-4294 (2022).
  40. FLAIRS. 36, (2023).">Lazar, A. Graph neural networks for link prediction. FLAIRS. 36, (2023).
  41. ArXiv. , (2018).">Zhang, M., Chen, Y. Link prediction based on graph neural networks. ArXiv. , (2018).
  42. XGNN: Towards model-level explanations of graph neural networks. Yuan, H., Tang, J., Hu, X., Ji, S. Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, , (2020).
  43. CFGExplainer: Explaining graph neural network-based malware classification from control flow graphs. Herath, J. D., Wakodikar, P., Yang, P., Yan, G. 2022 52nd Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN), , 172-184 (2022).
  44. GNNExplainer: Generating explanations for graph neural networks. Adv Neural Inf Process Syst. 32, 9240-9251 (2019).">Ying, R., Bourgeois, D., You, J., Zitnik, M., Leskovec, J. GNNExplainer: Generating explanations for graph neural networks. Adv Neural Inf Process Syst. 32, 9240-9251 (2019).
  45. The Bgee suite: Integrated curated expression atlas and comparative transcriptomics in animals. Nucleic Acids Res. 49 (D1), D831-D847 (2021).">Bastian, F. B., et al. The Bgee suite: Integrated curated expression atlas and comparative transcriptomics in animals. Nucleic Acids Res. 49 (D1), D831-D847 (2021).
  46. Comparative Toxicogenomics Database (CTD): Update 2023. Nucleic Acids Res. 51 (D1), D1257-D1262 (2023).">Davis, A. P., et al. Comparative Toxicogenomics Database (CTD): Update 2023. Nucleic Acids Res. 51 (D1), D1257-D1262 (2023).
  47. ClinGen - The clinical genome resource. N Engl J Med. 372 (23), 2235-2242 (2015).">Rehm, H. L., et al. ClinGen - The clinical genome resource. N Engl J Med. 372 (23), 2235-2242 (2015).
  48. ClinVar: Improvements to accessing data. Nucleic Acids Res. 48 (D1), D835-D844 (2020).">Landrum, M. J., et al. ClinVar: Improvements to accessing data. Nucleic Acids Res. 48 (D1), D835-D844 (2020).
  49. The human disease ontology 2022 update. Nucleic Acids Res. 50 (D1), D1255-D1261 (2022).">Schriml, L. M., et al. The human disease ontology 2022 update. Nucleic Acids Res. 50 (D1), D1255-D1261 (2022).
  50. The DisGeNET cytoscape app: Exploring and visualizing disease genomics data. Comput Struct Biotechnol J. 19, 2960-2967 (2021).">Piñero, J., Saüch, J., Sanz, F., Furlong, L. I. The DisGeNET cytoscape app: Exploring and visualizing disease genomics data. Comput Struct Biotechnol J. 19, 2960-2967 (2021).
  51. DrugBank 6.0: The DrugBank knowledgebase for 2024. Nucleic Acids Res. 52 (D1), D1265-D1275 (2024).">Knox, C., et al. DrugBank 6.0: The DrugBank knowledgebase for 2024. Nucleic Acids Res. 52 (D1), D1265-D1275 (2024).
  52. GRNdb: Decoding the gene regulatory networks in diverse human and mouse conditions. Nucleic Acids Res. 49 (D1), D97-D103 (2021).">Fang, L., et al. GRNdb: Decoding the gene regulatory networks in diverse human and mouse conditions. Nucleic Acids Res. 49 (D1), D97-D103 (2021).
  53. The Gene Ontology resource: enriching a GOld mine. Nucleic Acids Res. 49 (D1), D325-D334 (2021).">Gene Ontology Consortium. The Gene Ontology resource: enriching a GOld mine. Nucleic Acids Res. 49 (D1), D325-D334 (2021).
  54. Genenames.org: The HGNC resources in 2023. Nucleic Acids Res. 51 (D1), D1003-D1009 (2023).">Seal, R. L., et al. Genenames.org: The HGNC resources in 2023. Nucleic Acids Res. 51 (D1), D1003-D1009 (2023).
  55. NCATS Inxight Drugs: A comprehensive and curated portal for translational research. Nucleic Acids Res. 50 (D1), D1307-D1316 (2022).">Siramshetty, V. B., et al. NCATS Inxight Drugs: A comprehensive and curated portal for translational research. Nucleic Acids Res. 50 (D1), D1307-D1316 (2022).
  56. KEGG: New perspectives on genomes, pathways, diseases and drugs. Nucleic Acids Res. 45 (D1), D353-D361 (2017).">Kanehisa, M., Furumichi, M., Tanabe, M., Sato, Y., Morishima, K. KEGG: New perspectives on genomes, pathways, diseases and drugs. Nucleic Acids Res. 45 (D1), D353-D361 (2017).
  57. Medical Subject Headings (MeSH). Bull Med Libr Assoc. 88 (3), 265-266 (2000).">Lipscomb, C. E. Medical Subject Headings (MeSH). Bull Med Libr Assoc. 88 (3), 265-266 (2000).
  58. medRxiv. , (2022).">Vasilevsky, N. A., et al. Mondo: Unifying diseases for the world, by the world. medRxiv. , (2022).
  59. BioThings SDK: A toolkit for building high-performance data APIs in biomedical research. Bioinformatics. 38 (7), 2077-2079 (2022).">Lelong, S., et al. BioThings SDK: A toolkit for building high-performance data APIs in biomedical research. Bioinformatics. 38 (7), 2077-2079 (2022).
  60. OMIM.org: Leveraging knowledge across phenotype-gene relationships. Nucleic Acids Res. 47 (D1), D1038-D1043 (2019).">Amberger, J. S., Bocchini, C. A., Scott, A. F., Hamosh, A. OMIM.org: Leveraging knowledge across phenotype-gene relationships. Nucleic Acids Res. 47 (D1), D1038-D1043 (2019).
  61. PathFX provides mechanistic insights into drug efficacy and safety for regulatory review and therapeutic development. PLoS Comput Biol. 14 (12), e1006614(2018).">Wilson, J. L., et al. PathFX provides mechanistic insights into drug efficacy and safety for regulatory review and therapeutic development. PLoS Comput Biol. 14 (12), e1006614(2018).
  62. PharmGKB, an Integrated resource of pharmacogenomic knowledge. Curr Protoc. 1 (8), e226(2021).">Gong, L., Whirl-Carrillo, M., Klein, T. E. PharmGKB, an Integrated resource of pharmacogenomic knowledge. Curr Protoc. 1 (8), e226(2021).
  63. The reactome pathway knowledgebase 2022. Nucleic Acids Res. 50 (D1), D687-D692 (2022).">Gillespie, M., et al. The reactome pathway knowledgebase 2022. Nucleic Acids Res. 50 (D1), D687-D692 (2022).
  64. The SIDER database of drugs and side effects. Nucleic Acids Res. 44 (D1), D1075-D1079 (2016).">Kuhn, M., Letunic, I., Jensen, L. J., Bork, P. The SIDER database of drugs and side effects. Nucleic Acids Res. 44 (D1), D1075-D1079 (2016).
  65. SMPDB 2.0: Big improvements to the small molecule pathway database. Nucleic Acids Res. 42 (Database issue), D478-D484 (2014).">Jewison, T., et al. SMPDB 2.0: Big improvements to the small molecule pathway database. Nucleic Acids Res. 42 (Database issue), D478-D484 (2014).
  66. STRING v11: Protein-protein association networks with increased coverage, supporting functional discovery in genome-wide experimental datasets. Nucleic Acids Res. 47 (D1), D607-D613 (2019).">Szklarczyk, D., et al. STRING v11: Protein-protein association networks with increased coverage, supporting functional discovery in genome-wide experimental datasets. Nucleic Acids Res. 47 (D1), D607-D613 (2019).
  67. Therapeutic target database update 2022: Facilitating drug discovery with enriched comparative data of targeted agents. Nucleic Acids Res. 50 (D1), D1398-D1407 (2022).">Zhou, Y., et al. Therapeutic target database update 2022: Facilitating drug discovery with enriched comparative data of targeted agents. Nucleic Acids Res. 50 (D1), D1398-D1407 (2022).
  68. The Unified Medical Language System (UMLS): Integrating biomedical terminology. Nucleic Acids Res. 32 (Database issue), D267-D270 (2004).">Bodenreider, O. The Unified Medical Language System (UMLS): Integrating biomedical terminology. Nucleic Acids Res. 32 (Database issue), D267-D270 (2004).
  69. Unification of multi-species vertebrate anatomy ontologies for comparative biology in Uberon. J Biomed Semantics. 5, 21(2014).">Haendel, M. A., et al. Unification of multi-species vertebrate anatomy ontologies for comparative biology in Uberon. J Biomed Semantics. 5, 21(2014).
  70. UniProt: the Universal Protein Knowledgebase in 2023. Nucleic Acids Res. 51 (D1), D523-D531 (2023).">UniProt Consortium. UniProt: the Universal Protein Knowledgebase in 2023. Nucleic Acids Res. 51 (D1), D523-D531 (2023).
  71. Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. Lewis, M., et al. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, , 7871-7880 (2020).
  72. Cloud-based phrase mining and analysis of user-defined phrase-category association in biomedical publications. J Vis Exp. (144), e59108(2019).">Sigdel, D., et al. Cloud-based phrase mining and analysis of user-defined phrase-category association in biomedical publications. J Vis Exp. (144), e59108(2019).
  73. FM. ArXiv. , (2023).">Ferrara, E. Should ChatGPT be biased? Challenges and risks of bias in large language models. FM. ArXiv. , (2023).
  74. ArXiv. , (2023).">Gallegos, I. O., et al. Bias and fairness in large language models: A Survey. ArXiv. , (2023).
  75. Fighting reviewer fatigue or amplifying bias? Considerations and recommendations for use of ChatGPT and other large language models in scholarly peer review. Res Integr Peer Rev. 8 (1), 4(2023).">Hosseini, M., Horbach, S. P. J. M. Fighting reviewer fatigue or amplifying bias? Considerations and recommendations for use of ChatGPT and other large language models in scholarly peer review. Res Integr Peer Rev. 8 (1), 4(2023).
  76. Kotek, H., Dockum, R., Sun, D. Gender bias and stereotypes in Large Language Models. Proceedings of The ACM Collective Intelligence Conference, , 12-24 (2023).
  77. Prompting techniques for reducing social bias in LLMs through System 1 and System 2 Cognitive Processes. ArXiv. , (2024).">Kamruzzaman, M., Kim, G. L. Prompting techniques for reducing social bias in LLMs through System 1 and System 2 Cognitive Processes. ArXiv. , (2024).
  78. ArXiv. , (2024).">Raza, S., Raval, A., Chatrath, V. MBIAS: Mitigating bias in large language models while retaining context. ArXiv. , (2024).
  79. ArXiv. , (2023).">Chen, B., Zhang, Z., Langrené, N., Zhu, S. Unleashing the potential of prompt engineering in Large Language Models: A comprehensive review. ArXiv. , (2023).
  80. ArXiv. , (2023).">White, J., et al. A prompt pattern catalog to enhance prompt engineering with ChatGPT. ArXiv. , (2023).
  81. Prompt engineering as an important emerging skill for medical professionals: Tutorial. J Med Internet Res. 25, e50638(2023).">Meskó, B. Prompt engineering as an important emerging skill for medical professionals: Tutorial. J Med Internet Res. 25, e50638(2023).
  82. ArXiv. , (2023).">Wang, J., et al. Prompt Engineering for Healthcare: Methodologies and applications. ArXiv. , (2023).
  83. ArXiv. , (2023).">Luo, Y., et al. An empirical study of catastrophic forgetting in large language models during continual fine-tuning. ArXiv. , (2023).
  84. Retrieval meets Long Context Large Language Models. ArXiv. , (2023).">Xu, P., et al. Retrieval meets Long Context Large Language Models. ArXiv. , (2023).
  85. ArXiv. , (2023).">Chen, S., Wong, S., Chen, L., Tian, Y. Extending context window of Large Language Models via positional interpolation. ArXiv. , (2023).
  86. ArXiv. , (2024).">Labrak, Y., et al. BioMistral: A collection of open-source pretrained large language models for medical domains. ArXiv. , (2024).
  87. BioGPT: Generative pre-trained transformer for biomedical text generation and mining. Brief Bioinform. 23 (6), bbac409(2022).">Luo, R., et al. BioGPT: Generative pre-trained transformer for biomedical text generation and mining. Brief Bioinform. 23 (6), bbac409(2022).
  88. ArXiv. , (2024).">Wang, C., et al. A survey for large language models in biomedicine. ArXiv. , (2024).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Biomedical Knowledge BasesExplainable AIKnowledge GraphRetrieval Augmented GenerationLarge Language ModelsText Mining AnalysisHypothesis ValidationDrug Disease RelationshipsAgentic SystemsCardiomyopathy Therapeutics

Related Articles