Name: 通过向量嵌入来增强大型语言模型，以提高特定于域的响应能力 (视频) | JoVE Journal
Uploaded: 2024-12-06T12:20:00.000+00:00
Duration: 3 min 14 s
Description: 了解如何通过向量嵌入机制整合同行评审科学文献来增强大型语言模型的响应质量，并获取用于比较不同模型性能的代码，以支持医疗领域的自然语言处理研究。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本工作得益于多个开源库的支持，尤其是 llama-index（https://www.llamaindex.ai/）、ChromaDB（https://www.trychroma.com/）和 LMQL（https://lmql.ai/）。

在本文展示的用例中，向量数据库是根据芝加哥共识工作组发布的指南生成的17。该专家组成立的目的是制定腹膜癌管理的指导原则。选择这一主题领域是因为其属于研究人员的临床专业范围。相关论文集从包括《癌症》（Cancer）和《外科学肿瘤学年鉴》（Annals of Surgical Oncology）在内的在线期刊数据库中获取。采用由北京人工智能研究院（BAAI，https://www.baai.ac.cn/english.html）开发的紧凑型（3340万参数）嵌入模型 bge-small-en，从源文档中生成嵌入向量。所生成的数据库随后用于增强 Llama 2 和 Open-AI 基础模型7。为方便读者使用，代码已通过 GitHub（https://github.com/AnaiLab/AugmentedLLM）公开提供。为确保可重复性，建议使用所提供依赖列表中相同版本的库以及相同版本的 Python。有关以下方法中所用工具的安装或文档的更多详细信息，可访问 Python（https://www.python.org）、git（https://git-scm.com）、Llama-Index（https://llamaindex.ai）和 Chroma（https://trychroma.com）的官方网站获取。
1. 先决条件：审查代码并安装所需库
<ol>
	<li>确认已安装 git、python 和 pip。
	<ol>
		<li>在终端中运行以下命令以验证安装情况： 
		git --version 
		python3 --version 
		pip3 --version</li>
	</ol>
	</li>
	<li>检出代码并安装依赖项。
	<ol>
		<li>在终端中运行以下命令： 
		git clone&#160;https://github.com/AnaiLab/AugmentedLLM.git 
		cd ./AugmentedLLM/ 
		pip3 install -r requirements.txt</li>
	</ol>
	</li>
</ol>
2. 使用 Llama-Index 创建向量数据库
<ol>
	<li>转换 RTF 文件格式（仅当文件为 RTF 格式时需要执行此步骤）。
	<ol>
		<li>编辑名为 config.py 的文件，将以下代码中的文件路径替换为待转换 RTF 文章的存储位置以及转换后纯文本文件的输出位置，输入以下命令并保存文件。 
		rtf_file_dir = './articles_rtf/' 
		converted_file_dir = './articles_converted/'</li>
		<li>在终端中，进入相同目录，运行以下命令执行代码，生成 RTF 文件的纯文本版本： 
		python3 ./convert_rtf.py</li>
	</ol>
	</li>
	<li>创建并保存向量数据库。
	<ol>
		<li>编辑 config.py 文件，将以下变量的值替换为包含用于增强大语言模型（LLM）的文档所在文件夹的路径；保存文件。 
		article_dir = './articles/'</li>
		<li>在终端中，进入相同目录，运行以下命令执行代码以创建并向本地持久化数据库。验证数据库是否已成功保存至 vector_db 文件夹中。 
		python3 ./build_index.py</li>
	</ol>
	</li>
</ol>
3. 使用第2节生成的向量数据库增强羊驼模型
<ol>
	<li>本地实例化自定义大语言模型（可选） 
	注意：仅当您希望使用不同于默认模型 Llama-2-7B 的模型时，才需要执行此步骤。如果希望使用默认模型，请直接进入步骤 3.2。
	<ol>
		<li>（使用自定义大语言模型）通过编辑 run_augmented_llm.py 文件，在以下代码行中将 llama-index 的 LLM 对象作为 llm 参数传入构造函数，而非使用 None，以指定用于增强的 LLM。 
		augmentedLLM = AugmentedLLM(vector_store, llm=None)</li>
	</ol>
	</li>
	<li>查询增强型大语言模型
	<ol>
		<li>在终端中运行以下命令： 
		python3 ./run_augmented_llm.py</li>
		<li>运行用户查询，以获取由一组手稿中的数据增强后的响应（图 3 和 图 4）。完成后按 CTRL + C 退出。</li>
	</ol>
	</li>
</ol>
4. 替代大语言模型的程序化比较
<ol>
	<li>创建多项选择题（MCQ）。
	<ol>
		<li>编辑 questions.py 文件，注意示例的格式，按照类似格式添加题目。保存文件。</li>
	</ol>
	</li>
	<li>通过 API 连接到 GPT-3.5、GPT-4、OpenChat 或其他对比模型。
	<ol>
		<li>编辑 config.py 文件，如果目标是与 OpenAI 或 Huggingface 提供的模型进行基准比较，则添加相应的 API 密钥。保存文件。 
		huggingface_key = '' 
		openai_key = ''</li>
		<li>编辑 compare_llms.py 文件，通过取消注释（删除该行开头的 '# ' 字符）来选择要对比的模型集合。 
		注意：某些对比模型需要在步骤 4.2.1 中设置的 API 密钥。此外，可根据需要编辑 output_dir 参数以更改 LLM 输出的存储路径；否则将使用默认路径。 
		output_dir = './llm_responses/'</li>
		<li>在终端中执行以下命令运行代码。执行完成后，查看步骤 4.2.2 中指定文件夹内的模型响应，以进行评分或其他审查。 
		python3 ./compare_llms.py</li>
	</ol>
	</li>
	<li>（可选）尝试对多项选择题的回答进行自动评分。示例代码使用 LMQL 库将大语言模型（LLM）的输出限制为预期格式。
	<ol>
		<li>打开 automated_comparison.py 文件，参照步骤 4.2.2 的方式，取消包含所需模型的注释，编辑 output_dir 变量，或进行其他自定义设置。请注意，模型输出仍将以类似方式保存。保存文件。</li>
		<li>在终端中运行以下命令，执行步骤 4.3.1 中的代码： 
		python3 ./automated_comparison.py</li>
	</ol>
	</li>
</ol>

Embedding Methods to Integrate Scientific Manuscripts into Large Language Models

<ol><li>Singhal, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Large+language+models+encode+clinical+knowledge%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Large language models encode clinical knowledge.</a> Nature. 620 (7972), 172-180 (2023).</li>
<li>Gilson, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((How+does+ChatGPT+perform+on+the+United+States+medical+licensing+examination%3F+The+implications+of+large+language+models+for+medical+education+and+knowledge+assessment%5BTitle%5D)+AND+%22JMIR+Med+Educ%22%5BJournal%5D)">How does ChatGPT perform on the United States medical licensing examination? The implications of large language models for medical education and knowledge assessment.</a> JMIR Med Educ. 9 (1), e45312(2023).</li>
<li>Guerra, G. A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((GPT-4+artificial+intelligence+model+outperforms+ChatGPT%2C+medical+students%2C+and+neurosurgery+residents+on+neurosurgery+written+board-like+questions%5BTitle%5D)+AND+%22World+Neurosurg%22%5BJournal%5D)">GPT-4 artificial intelligence model outperforms ChatGPT, medical students, and neurosurgery residents on neurosurgery written board-like questions.</a> World Neurosurg. 179, e160-e165 (2023).</li>
<li>Terwiesch, C. Would Chat GPT3 get a Wharton MBA? A prediction based on its performance in the Operations Management course. , 
 <a target="_blank" href="https://mackinstitute.wharton.upenn.edu/wp-content/uploads/2023/01/Christian-Terwiesch-Chat-GTP.pdf">https://mackinstitute.wharton.upenn.edu/wp-content/uploads/2023/01/Christian-Terwiesch-Chat-GTP.pdf</a> (2023).</li>
<li>Weizenbaum, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ELIZA-a+computer+program+for+the+study+of+natural+language+communication+between+man+and+machine%5BTitle%5D)+AND+%22Communications+of+the+ACM%22%5BJournal%5D)">ELIZA-a computer program for the study of natural language communication between man and machine.</a> Communications of the ACM. 9 (1), 36-45 (1966).</li>
<li>Wu, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+brief+overview+of+ChatGPT%3A+The+history%2C+status+quo+and+potential+future+development%5BTitle%5D)+AND+%22IEEE%2FCAA+Journal+of+Automatica+Sinica%22%5BJournal%5D)">A brief overview of ChatGPT: The history, status quo and potential future development.</a> IEEE/CAA Journal of Automatica Sinica. 10 (5), 1122-1136 (2023).</li>
<li>Touvron, H., et al. Llama 2: Open foundation and fine-tuned chat models. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2307.09288">http://arxiv.org/abs/2307.09288</a> (2023).</li>
<li>Huang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+on+hallucination+in+large+language+models%3A+Principles%2C+taxonomy%2C+challenges%2C+and+open+questions%5BTitle%5D)+AND+%22arXiv+%5Bcs.CL%5D%22%5BJournal%5D)">A survey on hallucination in large language models: Principles, taxonomy, challenges, and open questions.</a> arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2311.05232">http://arxiv.org/abs/2311.05232</a> (2023).</li>
<li>Thirunavukarasu, A. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Large+language+models+in+medicine%5BTitle%5D)+AND+%22Nature+Med%22%5BJournal%5D)">Large language models in medicine.</a> Nature Med. 29 (8), 1930-1940 (2023).</li>
<li>Lewis, P., et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2005.11401">http://arxiv.org/abs/2005.11401</a> (2020).</li>
<li>Li, J., Yuan, Y., Zhang, Z. Enhancing LLM factual accuracy with RAG to counter hallucinations: A case study on domain-specific queries in private knowledge-bases. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2403.10446">http://arxiv.org/abs/2403.10446</a> (2024).</li>
<li>Zhang, P., Xiao, S., Liu, Z., Dou, Z., Nie, J. -Y. Retrieve anything to augment large language models. arXiv [cs.IR]. , 
 <a target="_blank" href="http://arxiv.org/abs/2310.07554">http://arxiv.org/abs/2310.07554</a> (2023).</li>
<li>Ling, C., et al. Domain specialization as the key to make large language models disruptive: A comprehensive survey. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2305.18703">http://arxiv.org/abs/2305.18703</a> (2023).</li>
<li>Ram, O., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((In-Context+retrieval-augmented+language+models%5BTitle%5D)+AND+%22Trans+Assoc+Comput+Linguist%22%5BJournal%5D)">In-Context retrieval-augmented language models.</a> Trans Assoc Comput Linguist. 11, 1316-1331 (2023).</li>
<li>Cormode, G. Sequence distance embeddings. , The University of Warwick. 
 <a target="_blank" href="https://wrap.warwick.ac.uk/61310/7/WRAP_THESIS_Cormode_2003.pdf">https://wrap.warwick.ac.uk/61310/7/WRAP_THESIS_Cormode_2003.pdf</a> (2003).</li>
<li>Guo, Z., et al. Evaluating large language models: A comprehensive survey. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2310.19736">http://arxiv.org/abs/2310.19736</a> (2023).</li>
<li>Chicago Consensus Working Group. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+Chicago+Consensus+Guidelines+for+peritoneal+surface+malignancies%3A+Introduction%5BTitle%5D)+AND+%22Cancer%22%5BJournal%5D)">The Chicago Consensus Guidelines for peritoneal surface malignancies: Introduction.</a> Cancer. 126 (11), 2510-2512 (2020).</li>
<li>Wang, G., et al. OpenChat: Advancing open-source language models with mixed-quality data. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2309.11235">http://arxiv.org/abs/2309.11235</a> (2023).</li>
<li>Jiang, A. Q., et al. Mistral 7B. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2310.06825 ">http://arxiv.org/abs/2310.06825 </a> (2023).</li>
<li>Megahed, F. M., et al. AI and the future of work in statistical quality control: Insights from a first attempt to augmenting ChatGPT with an SQC knowledge base (ChatSQC). arXiv [cs.HC]. , 
 <a target="_blank" href="http://arxiv.org/abs/2308.13550">http://arxiv.org/abs/2308.13550</a> (2023).</li>
<li>Wang, Y., Ma, X., Chen, W. Augmenting black-box LLMs with medical textbooks for clinical question answering. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2309.02233">http://arxiv.org/abs/2309.02233</a> (2023).</li>
<li>Dodge, J., et al. Measuring the carbon intensity of AI in cloud instances. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDodge%2C+J+%22FACCT+2022%22">FACCT 2022</a>. , (2022).</li>
<li>Samsi, S., et al. From words to watts: Benchmarking the energy costs of large language model inference. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2310.03003">http://arxiv.org/abs/2310.03003</a> (2023).</li>
<li>Khene, Z. -E., Bigot, P., Mathieu, R., Rouprêt, M., Bensalah, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Development+of+a+personalized+chat+model+based+on+the+European+association+of+urology+oncology+guidelines%3A+Harnessing+the+power+of+generative+artificial+intelligence+in+clinical+practice%5BTitle%5D)+AND+%22Eur+Urol+Oncol%22%5BJournal%5D)">Development of a personalized chat model based on the European association of urology oncology guidelines: Harnessing the power of generative artificial intelligence in clinical practice.</a> Eur Urol Oncol. 7 (1), 160-162 (2024).</li>
<li>Kresevic, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Optimization+of+hepatological+clinical+guidelines+interpretation+by+large+language+models%3A+a+retrieval+augmented+generation-based+framework%5BTitle%5D)+AND+%22NPJ+Digit+Med%22%5BJournal%5D)">Optimization of hepatological clinical guidelines interpretation by large language models: a retrieval augmented generation-based framework.</a> NPJ Digit Med. 7 (1), 102(2024).</li>
<li>Ge, J., et al. Development of a liver disease-specific large language model chat interface using retrieval augmented generation. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGe%2C+J+%22medRxiv%22">medRxiv</a>. , (2023).</li>
<li>Rule-augmented artificial intelligence-empowered systems for medical diagnosis using large language models. Panagoulias, D. P., et al. 2023 IEEE 35th International Conference on Tools with Artificial Intelligence (ICTAI), , 70-77 (2023).</li>
<li>Panagoulias, D. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmenting+large+language+models+with+rules+for+enhanced+domain-specific+interactions%3A+The+case+of+medical+diagnosis%5BTitle%5D)+AND+%22Electronics%22%5BJournal%5D)">Augmenting large language models with rules for enhanced domain-specific interactions: The case of medical diagnosis.</a> Electronics. 13 (2), 320(2024).</li>
<li>Jin, Q., et al. Matching patients to clinical trials with large language models. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2307.15051">http://arxiv.org/abs/2307.15051</a> (2023).</li>
<li>Gupta, S. K., et al. PRISM: Patient records interpretation for semantic clinical trial matching using large language models. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2404.15549">http://arxiv.org/abs/2404.15549</a> (2024).</li>
<li>Hendrycks, D., et al. Measuring massive multitask language understanding. arXiv [cs.CY]. , 
 <a target="_blank" href="http://arxiv.org/abs/2009.03300">http://arxiv.org/abs/2009.03300</a> (2020).</li>
<li>Lin, S., Hilton, J., Evans, O. TruthfulQA: Measuring how models mimic human falsehoods. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2109.07958">http://arxiv.org/abs/2109.07958</a> (2021).</li>
<li>Bommasani, R., Liang, P., Lee, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Holistic+evaluation+of+language+models%5BTitle%5D)+AND+%22Ann+N+Y+Acad+Sci%22%5BJournal%5D)">Holistic evaluation of language models.</a> Ann N Y Acad Sci. 1525 (1), 140-146 (2023).</li>
<li>Banerjee, D., Singh, P., Avadhanam, A., Srivastava, S. Benchmarking LLM powered Chatbots: Methods and Metrics. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2308.04624">http://arxiv.org/abs/2308.04624</a> (2023).</li>
<li>Papineni, K., Roukos, S., Ward, T., Zhu, W. -J. Bleu. Proceedings of the 40th Annual Meeting on Association for Computational Linguistics - ACL '02. , (2001).</li>
<li>Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., Bowman, S. R. Glue: A multi-task benchmark and analysis platform for natural language understanding. , 
 <a target="_blank" href="http://arxiv.org/abs/1804.07461">http://arxiv.org/abs/1804.07461</a> (2019).</li>
<li>Johnson, D., et al. Assessing the accuracy and reliability of AI-generated medical responses: An evaluation of the chat-GPT model. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aJohnson%2C+D+%22Res+Sq%22">Res Sq</a>. , (2023).</li>
<li>Lin, C. -Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ROUGE%3A+A+package+for+automatic+evaluation+of+summaries%5BTitle%5D)+AND+%22Text+Summarization+Branches+Out%22%5BJournal%5D)">ROUGE: A package for automatic evaluation of summaries.</a> Text Summarization Branches Out. , 74-81 (2004).</li>
<li>Chen, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluating+the+ChatGPT+family+of+models+for+biomedical+reasoning+and+classification%5BTitle%5D)+AND+%22J+Am+Med+Inform+Assoc%22%5BJournal%5D)">Evaluating the ChatGPT family of models for biomedical reasoning and classification.</a> J Am Med Inform Assoc. 31 (4), 940-948 (2024).</li>
</ol>

作者声明无利益冲突。

本文提供的方法旨在促进大语言模型（LLM）在特定领域应用中的研究，而无需从头开始训练或进行大量微调。de novo 训练或精细调优。随着大语言模型逐渐成为研究热点，增强知识库并提高响应准确性的方法将变得愈发重要18,19,20,21。如所提供的结果所示，相较于未增强的相同大语言模型，本文所述方案在回答领域特定问题时表现出性能提升，并接近 OpenAI GPT 等更复杂模型的表现。由于大语言模型在生成响应时可能需要巨大的计算资源22,23，增强较简单的模型可能为资源受限的应用场景提供可行的实施路径。此外，检索增强生成（RAG）系统在增强 OpenAI 提供的高复杂度模型时也展现出优势。尽管本文结果聚焦于腹膜癌管理，但近期已有大量关于 RAG 系统的研究，涵盖多种领域和不同规模的数据源，表明此类系统具有广泛适用性21,24,25,26。然而，由于响应质量与用于增强的文本数据密切相关，用户必须审慎评估哪些数据源最适合自己特定的领域和应用需求。这一点在医疗健康等领域尤为重要，而该领域正是当前大语言模型相关研究的重点。目前正积极探索大语言模型在疾病诊断27,28、临床试验匹配29,30及其他众多应用中的潜力，这些应用需要基于经过验证且可信的文本资源，而非依赖来源不明的训练语料库。
通过由腹膜癌及其临床管理领域专家编写的多项选择题（MCQ）的正确率来衡量表现。回答由人工审查分类为正确或错误；然而，为了减少研究人员的重复性任务，本文提供了用于初步实现对不同大语言模型（LLM）性能进行更自动化比较的基本代码。
本方案的一个关键优势在于提供了可编程访问多种大语言模型（LLM）的代码。过去，缺乏相应技术能力的用户若要评估大语言模型在多项选择题（MCQ）上的表现，可能只能依赖通过网页界面进行重复的手动测试。所提供的代码包含用于对接多个主流大语言模型的基本类，以及代码执行示例。提供这些工具的目的是使更多研究人员能够实现跨多种大语言模型的提示响应评估流程自动化，从而提升开展比较研究的能力。
此外，所概述的方法旨在强调灵活性和可扩展性。尽管代码可以开箱即用，但其编写初衷是可根据具体需求进一步定制，例如采用不同的大语言模型（LLM）和嵌入模型以实现功能增强或对比分析。鉴于大语言模型领域正在快速演进，这种可扩展性将日益重要，以满足不同领域用户多样化的需求。此外，Llama-Index 库提供了大量在本示例方法中未使用的功能，用户在构建类似系统时可进一步探索这些选项。相关内容可参见 Llama-Index 官方文档。
读者还应仔细考虑最适合其使用场景的评估方法。尽管由于多项选择题（MCQ）具有易于量化的特性而被广泛用于大语言模型的比较31,32，但在将其视为生成式系统的全面性能指标时应保持谨慎。近期文献采用了多种评估方法，包括定性分析、人工评审、斯坦福语言模型整体评估（Stanford Holistic Evaluation of Language Models, HELM）33，以及标准的自然语言处理指标，如双语评估替代法（Bilingual Evaluation Understudy, BLEU）、通用语言理解评估（General Language Understanding Evaluation, GLUE）、ROUGE、困惑度（perplexity）和F1分数34,35,36,37,38,39。
这些方法如本文所述仍存在一定的局限性。例如，尽管已为多家主流大语言模型（LLM）提供商实现了接口，但由于该领域发展迅速且应用场景差异较大，当前实现可能并不全面。然而，如前所述，代码设计时已充分考虑了这一问题。此外，尽管提供了向自动化评分方向发展的基础代码，但仍可进一步扩展，例如采用HELM或BLEU等替代工具对回答进行评分。进一步地，还可结合使用其他工具，通过预定义语法约束模型输出，例如语言模型查询语言（Language Model Query Language, LMQL），以拓展本研究并提升大语言模型比较研究的自动化程度。此外，鉴于潜在应用场景的多样性，还需进一步研究检索增强生成（RAG）系统对通用性、域外任务性能的影响，以明确可能存在的性能权衡。最后，仍需持续探索提高大语言模型响应可靠性与评估效果的新方法。
请注意，由于技术原因，需要 Python 3.10 或更高版本。Shell 提示符适用于 bash、zsh 或其他类 UNIX 终端。只需输入命令文本后按回车键，即可执行命令（在实验方案中称为“运行命令”）。对于实验方案中的每一步，用户可检查正在执行的文件中的代码，以更全面地理解工作流程背后的机制。

诸如 OpenAI 的 ChatGPT 或 Meta AI 的 Llama 等大语言模型（LLM）已迅速成为生成与用户提示相关文本的流行资源。这些模型最初的功能是预测序列中的下一个词汇单元，现已发展为能够理解上下文、编码临床信息，并在多种任务上表现出高性能1,2,3,4。尽管语言模型的出现比这些功能及其当前的流行程度早了几十年5，但近年来深度学习和计算能力的进步使得通过基于网络的技术和应用程序编程接口（API）向用户广泛提供预训练的高质量商业大语言模型成为可能6。然而，以这种形式使用大语言模型存在若干显著局限性。
挑战1：静态训练语料库 
大语言模型（LLM）的训练依赖于海量但静态的文本数据（例如，Llama 2 的训练数据包含约两万亿个词元7）。这种静态训练方式在应对快速发展或文献持续更新的领域时面临挑战。在此模式下，为跟上最新数据，LLM 需要频繁重新训练，而这既不现实也不具备可扩展性。此外，当提示（prompt）所要求的回答基于训练数据中未包含的信息时，可能导致无法生成有用文本，或引发“幻觉”现象8。出现幻觉或事实捏造的情况，严重引发了人们对 LLM 可靠性的担忧，尤其是在信息准确性至关重要的应用场景中9。
挑战2：缺乏领域特异性 
预训练模型通常面向通用用途而创建，而用户可能需要针对特定领域性能进行专门优化的模型。此外，训练模型所需的计算资源和数据 从头合成 或进行大量精细调整对许多用户而言是不现实的。
挑战3：缺乏隐私保护 
在涉及敏感数据或专有信息的应用中，用户可能因不了解数据的存储或使用方式，而不愿或无法使用某些大语言模型服务。
挑战4：缺乏稳定的保障 
使用专有大语言模型（LLM）的服务可能会随时更改可用模型或调整其行为，这使得依赖这些服务的应用程序在实施过程中面临稳定性问题。
检索增强生成（Retrieval-augmented generation, RAG）是一种旨在提升大语言模型（LLM）性能的技术，尤其适用于涉及模型训练语料库之外信息的查询10,11。这类系统通过在生成用户查询响应时引入上下文信息，从而增强大语言模型的能力。近年来多项研究已描述了RAG系统的应用及其潜在优势12,13,14。
本方法旨在展示此类系统的构建过程，并为研究人员提供一个框架，以快速开展针对特定领域、增强型大语言模型（LLM）的实验。该方法适用于希望利用外部基于文本的数据源来增强大语言模型的用户。具体而言，本实验方案的主要目标是提供可扩展的逐步代码，适用于多种实际的大语言模型（LLM）与检索增强生成（RAG）实验，而无需在语言建模领域具备深厚的技术专业知识，尽管若要直接应用此方法，需具备 Python 的基本操作知识。为最大限度提升用户对解决方案的控制性、透明度、可移植性与经济性，本方案采用开源且公开可用的工具。所提出的系统通过以下方式解决前述问题：
解决方案1和2：静态训练语料库及缺乏领域特异性 
本文提供的方法采用检索增强生成（RAG）策略，利用嵌入（embeddings）技术提供原始训练数据中未包含的领域特定信息。从高层次来看，嵌入模型将文本或其他数据转换为向量形式，即一维数字数组。该技术的优势在于，可将文本中包含的语义信息转化为密集的数值表示形式。通过将用户查询投影到相同的嵌入空间中，可利用多种算法计算用户查询与文本片段之间的距离15，从而近似衡量语义相似性。因此，将文档分割为离散片段并从中构建此类向量数据库，有助于在大量文档中检索出与用户查询最相关的文本内容（图1）。该方法可扩展至任意文本文档。尽管其他方法（如在线搜索功能）正逐步被用于增强大语言模型（LLM）的能力，但本方法允许用户自主选择其应用场景下质量足够高的信息来源。
解决方案2：缺乏隐私保护 
在本实施方案中，采用安全的云环境进行托管，用户输入、生成的响应及其他数据均不会离开该生态系统。所有代码均以平台无关的方式编写，以确保可替换为其他云服务提供商或本地硬件。
解决方案3：缺乏稳定性保障 
该方法利用开源库，侧重于使用公开可用权重来增强大语言模型，可根据需要提供更高程度的透明性、稳定性和版本控制。
我们所提出的系统的完整示意图如图2所示，复制该系统或类似系统的详细操作步骤已在方案部分中说明。通过微调或增强来改变模型行为时，还需额外考虑性能评估问题。在语言生成模型中，这带来了一个独特的挑战，因为许多传统的机器学习评估指标并不适用。尽管存在多种评估技术16，但在本研究中，采用了专家编写的多项选择题（MCQ）来评估准确性，并对增强前、增强后以及主流替代大语言模型（LLM）的性能进行比较。

<table><tbody><tr><td>pip3 版本 22.0.2&amp;nbsp;</td><td></td><td></td><td></td></tr><tr><td>Python 版本 3.10.12</td><td></td><td></td><td></td></tr></tbody></table>

通过向量嵌入增强大语言模型以提升领域特定响应能力

Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness

大语言模型（LLMs）已成为生成与用户查询相关的信息的一种流行资源。此类模型通过利用大规模静态文本数据集进行资源密集型训练过程而构建。这种静态特性导致其在知识快速更新、涉及专有信息或敏感数据的领域中应用受限。本文概述了一种通过基于嵌入（embeddings-based）的方法，将最新、经同行评审的科学文献等特定领域信息整合到通用大语言模型（即基础模型）中的技术路径。该方法采用开源工具如 Llama-Index 和公开可用的模型如 Llama-2，以最大程度地提升透明度、用户隐私与控制权以及可重复性。尽管以科学文献作为示例应用场景，但该方法可扩展至任意文本数据源。此外，本文还讨论了在增强后对模型性能进行评估的方法。这些方法使得无论训练语料库中信息的覆盖程度如何，均可快速构建适用于高度专业化领域的 LLM 系统。

采用芝加哥共识工作组（Chicago Consensus Working Group）管理指南的22篇出版物，用于增强基础Llama-7b模型17。这些文献通过Llama-Index工具被转换为向量索引，从而生成Llama-2-7b-CCWG-Embed模型。类似地，也对GPT-3.5和GPT-4等主流OpenAI模型进行了增强，以生成GPT-XX-CCWG-Embed模型。共开发了20道多项选择题（MCQ），用于评估与多种腹膜表面恶性肿瘤管理相关的知识水平。这些多项选择题由一名经认证的外科肿瘤学专家设计，旨在测试达到外科肿瘤学专科培训医师预期知识水平的能力。Llama-2-7b-CCWG-Embed模型的表现显著优于基础模型（见表1），经增强的OpenAI模型亦表现出类似优势。该结果表明，相较于基线模型，通过增强方法提升了模型性能，属于积极成果。
<img alt="学术文档处理流程图：TXT 转换、嵌入模型、向量存储" class="xfigimg" src="/files/ftp_upload/66796/66796fig01.jpg" data-altupdatedat="1788304762000" data-alt="图 1"> 
图 1：从学术论文生成向量数据库的示意图。 <a href="https://www.jove.com/files/ftp_upload/66796/66796fig01large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="安全的 Azure 环境示意图，AI 处理流程，向量存储，语言模型集成。" class="xfigimg" src="/files/ftp_upload/66796/66796fig02.jpg" data-altupdatedat="1788304762000" data-alt="图 2"> 
图 2：增强型大语言模型的整体系统示意图。 <a href="https://www.jove.com/files/ftp_upload/66796/66796fig02large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="命令行界面配置机器学习模型；可见技术设置细节。" class="xfigimg" src="/files/ftp_upload/66796/66796fig03.jpg" data-altupdatedat="1788304762000" data-alt="图 3"> 
图 3：在 Linux 终端中运行的增强型 Llama-2 模型。<a href="https://www.jove.com/files/ftp_upload/66796/66796fig03large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="显示LLaMA v2加载及化疗相关问答的终端界面；系统性能指标展示。" class="xfigimg" src="/files/ftp_upload/66796/66796fig04.jpg" data-altupdatedat="1788304762000" data-alt="图 4"> 
图 4：增强型 Llama-2 模型的查询结果。 <a href="https://www.jove.com/files/ftp_upload/66796/66796fig04large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>大语言模型（LLM）</td>
			<td>得分（正确率）</td>
		</tr>
		<tr>
			<td>Llama-2-7b-chat-hf</td>
			<td>65%</td>
		</tr>
		<tr>
			<td>Llama-2-7b-CCWG-Embed</td>
			<td>75%</td>
		</tr>
		<tr>
			<td>Openchat-3.5-010618</td>
			<td>65%</td>
		</tr>
		<tr>
			<td>Mistral-7B-v0.119</td>
			<td>70%</td>
		</tr>
		<tr>
			<td>GPT-3.5</td>
			<td>75%</td>
		</tr>
		<tr>
			<td>GPT-3.5-CCWG-Embed</td>
			<td>85%</td>
		</tr>
		<tr>
			<td>GPT-4</td>
			<td>85%</td>
		</tr>
		<tr>
			<td>GPT-4-CCWG-Embed</td>
			<td>90%</td>
		</tr>
	</tbody>
</table>
表1：各类大语言模型在一组关于腹膜恶性肿瘤管理的20个问题上的得分（正确率百分比）。

在本方案中，通过使用经同行评审的领域特定科学文献，经由向量嵌入机制增强，从而提升基础大语言模型的响应质量。此外，还提供了代码以辅助在不同大语言模型之间进行性能比较。

大型语言模型（LLMs）已成为生成与用户查询相关的信息的一种流行资源。此类模型通过……训练而构建。

我们的研究聚焦于机器学习和大语言模型在癌症诊疗中的多种应用。这包括改善患者的直接诊疗服务，以及解决排班和文档记录等运营方面的挑战。我们最终旨在回答这样一个问题：这些技术如何能够使患者、医疗服务提供者和研究人员的医疗保健服务变得更优？大型语言模型已经开始改变科研格局。以往难以实现的自然语言处理任务如今对更多研究者变得可行，从而推动了涉及非结构化数据的众多新研究方向。一个主要挑战在于大型语言模型工具与基础设施的快速演变。许多临床医生和研究人员可能对应用程序有构想，但目前缺乏实施所需的背景知识或技术知识，或未能深入考虑不同方法之间的权衡。首先，在计算机上安装 Git、Python 和 PIP，并在终端中运行命令以验证安装。然后运行 git clone 命令下载代码仓库，并安装所需的依赖项。要创建向量数据库，请编辑 config.py 文件，将以下变量的值替换为包含用于增强大语言模型的文档的文件夹路径。然后将更新后的文件保存到 articles 目录中。接下来，在同一目录下的终端中，使用 Python 3 的 build index 命令执行代码，以创建并持久化数据库。验证数据库是否已保存在向量数据库文件夹中。为查询增强后的 LLM，执行 Python 3 run augmented llm 命令。在终端中输入 py 命令。测试用户查询，以接收由文档集数据增强的响应。完成后按 Control + C 退出。要创建选择题，请编辑 questions.py 文件，并参考示例的格式。按照类似的格式添加题目，然后保存文件。要编辑 config. pi 文件，请添加用于 Open AI 或 Hugging Face 的 API 密钥，如果目标是针对任一提供商的模型进行基准测试。现在保存文件。然后编辑 compare llms.py 文件，并选择要测试的一组模型。取消注释需对比的模型后，最后在终端中使用 compare llms 命令执行代码，执行完成后，在指定文件夹中查看模型响应，以进行评分或其他审查。在测试的多项选择题中，embed 模型的表现显著优于基础模型，增强的 open AI 模型亦如此。

augmenting-large-language-models-via-vector-embeddings-to-improve

Research

科研

JoVE Journal

Medicine

医学

通过向量嵌入来增强大型语言模型，以提高特定于域的响应能力

本文介绍了RUGGED（基于图引导可解释疾病区分的检索），该方法将大语言模型（LLM）推理与检索增强生成（RAG）相结合。它从专家整理的生物医学知识库和同行评审的生物医学出版物中提取证据，利用最新信息综合新知识，识别具有可解释性和可操作性的预测结果，并确定假设驱动研究的潜在方向。...

基于证据的知识整合与假设验证：探索生物医学知识库 通过 可解释人工智能与智能体系统

我们提出一种基于强化学习的大型语言模型微调方法，该方法使用实体幻觉指数（Enti Hallucination Index,...

使用实体幻觉指数微调大语言模型以实现文本摘要

RNA干扰（RNAi）相较于基因敲除具有多种优势，已被广泛用作基因功能研究的工具。基于DNA载体的RNAi技术的发明使得长期且可诱导的基因沉默成为可能，同时也提高了基因沉默的可行性。 体内.

基于DNA载体的RNA干扰技术用于研究癌症中的基因功能

我们探讨使用重复经颅磁刺激（rTMS）来改善慢性卒中伴非流利性失语症患者的语言能力。在为每位患者确定右侧额回中对刺激反应最佳的靶点后，我们在为期十天的rTMS治疗中针对该靶点进行刺激。...

利用重复经颅磁刺激改善慢性非流利性失语卒中患者的语言功能

大多数涉及朗根多夫装置的研究使用小型动物模型，因为较大哺乳动物系统的复杂性更高。我们描述了一种适用于大型动物模型的朗根多夫系统，该系统可用于多种物种（包括人类），并可相对简便地进行数据采集。...

用于大型动物模型的离体工作心脏系统

本方案描述了高频超声（HFUS）在小鼠颈部淋巴结成像中的应用。该技术可优化颈部淋巴结形态、体积及血流的可视化与定量分析。同时展示了在影像引导下对颈部淋巴结进行活检，以及对淋巴组织进行处理以供组织学评估的方法。...

小鼠颈部淋巴结的高频超声成像

本文描述了病毒载体介导的局部基因递送如何为在中枢神经系统中表达外源基因提供一种有效的方法。该方案概述了在大鼠黑质内注射病毒载体以建立基于病毒载体的帕金森病动物模型所需的全部关键步骤。...

基于α-突触核蛋白的帕金森病大鼠模型通过重组腺相关病毒载体立体定向注射的建立方法

目前需要使一类新型“孤儿药”——药理学伴侣药物的临床前检测具有可重复性、快速且高效。我们开发了一种简单、高度标准化且用途广泛的基于细胞培养的检测方法，可用于筛选合适的患者以及新的药理学伴侣药物。...

体外酶活性检测用于评估法布里病和庞贝病对药物伴侣治疗的反应性

在小鼠中进行实验物质的气管内（IT）给药时，常导致药物在远端肺部的分布不对称。  本报告中，我们描述了一种直接支气管内（IB）给药方法，可在不进行手术的情况下对活体小鼠的每侧肺进行插管。...

直接支气管内给药以提高小鼠肺部靶向药物的沉积选择性

冠状血管生成的体外模型可用于揭示冠状血管生成的细胞和分子机制。静脉窦和心内膜组织的体外植块培养在VEGF-A刺激下表现出显著的生长，并显示出与体内相似的COUP-TFII表达模式。...

冠状动脉血管生成的体外模型

了解如何通过向量嵌入机制整合同行评审科学文献来增强大型语言模型的响应质量，并获取用于比较不同模型性能的代码，以支持医疗领域的自然语言处理研究。

通过向量嵌入增强大语言模型以提升领域特定响应能力

探索更多视频