在本方案中，通过使用经同行评审的领域特定科学文献，经由向量嵌入机制增强，从而提升基础大语言模型的响应质量。此外，还提供了代码以辅助在不同大语言模型之间进行性能比较。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
大语言模型（LLMs）已成为生成与用户查询相关的信息的一种流行资源。此类模型通过利用大规模静态文本数据集进行资源密集型训练过程而构建。这种静态特性导致其在知识快速更新、涉及专有信息或敏感数据的领域中应用受限。本文概述了一种通过基于嵌入（embeddings-based）的方法，将最新、经同行评审的科学文献等特定领域信息整合到通用大语言模型（即基础模型）中的技术路径。该方法采用开源工具如 Llama-Index 和公开可用的模型如 Llama-2，以最大程度地提升透明度、用户隐私与控制权以及可重复性。尽管以科学文献作为示例应用场景，但该方法可扩展至任意文本数据源。此外，本文还讨论了在增强后对模型性能进行评估的方法。这些方法使得无论训练语料库中信息的覆盖程度如何，均可快速构建适用于高度专业化领域的 LLM 系统。
引言
诸如 OpenAI 的 ChatGPT 或 Meta AI 的 Llama 等大语言模型（LLM）已迅速成为生成与用户提示相关文本的流行资源。这些模型最初的功能是预测序列中的下一个词汇单元，现已发展为能够理解上下文、编码临床信息，并在多种任务上表现出高性能1,2,3,4。尽管语言模型的出现比这些功能及其当前的流行程度早了几十年5，但近年来深度学习和计算能力的进步使得通过基于网络的技术和应用程序编程接口（API）向用户广泛提供预训练的高质量商业大语言模型成为可能6。然而，以这种形式使用大语言模型存在若干显著局限性。
挑战1：静态训练语料库
大语言模型（LLM）的训练依赖于海量但静态的文本数据（例如，Llama 2 的训练数据包含约两万亿个词元7）。这种静态训练方式在应对快速发展或文献持续更新的领域时面临挑战。在此模式下，为跟上最新数据，LLM 需要频繁重新训练，而这既不现实也不具备可扩展性。此外，当提示（prompt）所要求的回答基于训练....
访问受限。请登录或开始试用以查看此内容。
方案
在本文展示的用例中，向量数据库是根据芝加哥共识工作组发布的指南生成的17。该专家组成立的目的是制定腹膜癌管理的指导原则。选择这一主题领域是因为其属于研究人员的临床专业范围。相关论文集从包括《癌症》（Cancer）和《外科学肿瘤学年鉴》（Annals of Surgical Oncology）在内的在线期刊数据库中获取。采用由北京人工智能研究院（BAAI，https://www.baai.ac.cn/english.html）开发的紧凑型（3340万参数）嵌入模型 bge-small-en，从源文档中生成嵌入向量。所生成的数据库随后用于增强 Llama 2 和 Open-AI 基础模型7。为方便读者使用，代码已通过 GitHub（https://github.com/AnaiLab/AugmentedLLM）公开提供。为确保可重复性，建议使用所提供依赖列表中相同版本的库以及相同版本的 Python。有关以下方法中所用工具的安装或文档的更多详细信息，可访问 Python（https://www.python.org）、git（https://git-scm.com）、Llama-Index（https://llamaindex.ai）和 Chroma（https://trychroma.com）的官方网站获取。
1. 先决条件：审查代码并安装所需库
....访问受限。请登录或开始试用以查看此内容。
结果
采用芝加哥共识工作组（Chicago Consensus Working Group）管理指南的22篇出版物，用于增强基础Llama-7b模型17。这些文献通过Llama-Index工具被转换为向量索引，从而生成Llama-2-7b-CCWG-Embed模型。类似地，也对GPT-3.5和GPT-4等主流OpenAI模型进行了增强，以生成GPT-XX-CCWG-Embed模型。共开发了20道多项选择题（MCQ），用于评估与多种腹膜表面恶性肿瘤管理相关的知识水平。这些多项选择题由一名经认证的外科肿瘤学专家设计，旨在测试达到外科肿瘤学专科培训医师预期知识水平的能力。Llama-2-7b-CCWG-Embed模型的表现显著优于基础模型（见表1），经增强的OpenAI模型亦表现出类似优势。该结果表明，相较于基线模型，通过增强方法提升了模型性能，属于积极成果。
访问受限。请登录或开始试用以查看此内容。
讨论
本文提供的方法旨在促进大语言模型（LLM）在特定领域应用中的研究，而无需从头开始训练或进行大量微调。de novo 训练或精细调优。随着大语言模型逐渐成为研究热点，增强知识库并提高响应准确性的方法将变得愈发重要18,19,20,21。如所提供的结果所示，相较于未增强的相同大语言模型，本文所述方案在回答领域特定问题时表现出性能提升，并接近 OpenAI GPT 等更复杂模型的表现。由于大语言模型在生成响应时可能需要巨大的计算资源22,23，增强较简单的模型可能为资源受限的应用场景提供可行的实施路径。此外，检索增强生成（RAG）系统在增强 OpenAI 提供的高复杂度模型时也展现出优势。尽管本文结果聚焦于腹膜癌管理，但近期已有大量关于 RAG 系统的研究.......
访问受限。请登录或开始试用以查看此内容。
披露
作者声明无利益冲突。
致谢
本工作得益于多个开源库的支持，尤其是 llama-index（https://www.llamaindex.ai/）、ChromaDB（https://www.trychroma.com/）和 LMQL（https://lmql.ai/）。
....访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| pip3 版本 22.0.2 | |||
| Python 版本 3.10.12 |
参考文献
- Singhal, K., et al. Large language models encode clinical knowledge. Nature. 620 (7972), 172-180 (2023).
- Gilson, A., et al. How does ChatGPT perform on the United States medical licensing ex....
访问受限。请登录或开始试用以查看此内容。
重印与许可
