Дополнение больших языковых моделей с помощью векторных встраиваний для улучшения отзывчивости, специфичной для предметной области
December 6th, 2024
В этом протоколе качество отклика базовой большой языковой модели улучшается за счет дополнения рецензируемыми предметно-ориентированными научными статьями с помощью механизма векторного встраивания. Кроме того, предоставляется код, помогающий сравнивать производительность больших языковых моделей.
Наши исследования сосредоточены на широком спектре приложений машинного обучения и больших языковых моделей в лечении рака. Это включает в себя как улучшение непосредственного ухода за пациентами, так и решение операционных проблем, таких как планирование и документирование. В конечном счете, мы пытаемся ответить на вопрос: как эти технологии могут улучшить здравоохранение для пациентов, поставщиков услуг и исследователей?
Большие языковые модели уже начали трансформировать исследовательский ландшафт. Ранее непомерно сложные задачи обработки естественного языка стали доступны гораздо большему числу исследователей, что позволило провести множество новых направлений исследований с использованием неструктурированных данных. Основной проблемой является быстро меняющийся ландшафт инструментов и инфраструктуры больших языковых моделей.
У многих клиницистов и исследователей могут быть идеи для приложений, но в настоящее время они не обладают контекстуальными или техническими знаниями, необходимыми для реализации, или вдумчивым рассмотрением компромиссов различных подходов. Чтобы начать, установите Git, Python и PIP на компьютер и выполните команды в терминале, чтобы проверить установку. Затем выполните команду git clone, чтобы загрузить репозиторий и установить необходимые требования.
Чтобы создать векторную базу данных, отредактируйте конфиг. py, заменив значение следующей переменной на путь к файлу к папке, содержащей документы, которые будут использоваться для дополнения большой языковой модели. Затем сохраните обновленный файл в директории articles.
Затем в терминале в том же каталоге выполните код с помощью команды Python 3 build index для создания и сохранения базы данных. Проверьте, сохранена ли база данных в папке векторной базы данных. Чтобы запросить дополненный LLM, выполните команду Python 3 run augmented llm.
py в терминале. Тестируйте запросы пользователей для получения ответов, дополненных данными из набора документов. Затем нажмите Control плюс C, чтобы выйти после завершения.
Для создания MCQ отредактируйте файл вопросов. py, обращая внимание на формат примеров. Добавьте вопросы в аналогичном формате и сохраните файл.
Чтобы отредактировать конфиг. pi, добавьте ключ API для открытого ИИ или обнимающегося лица. Если цель состоит в том, чтобы сравнить модели от любого из поставщиков.
Теперь сохраните файл. Затем отредактируйте сравнительные llm. py и выберите набор моделей для тестирования.
После раскомментирования моделей для сравнения. Наконец, в терминале выполните код с помощью команды compare llms и после выполнения просмотрите ответы модели в указанной папке для оценки или другого обзора. Среди протестированных MCQ встраиваемая модель показала значительно лучшие результаты, чем базовая, как и дополненные модели открытого искусственного интеллекта.
Обзор
Этот протокол улучшает качество ответов больших языковых моделей путем интеграции рецензированных научных статей с помощью механизма векторных встраиваний. Он также предоставляет код для сравнения производительности различных больших языковых моделей.
Основные компоненты исследования
Область науки
- Машинное обучение
- Обработка естественного языка
- Медицинские приложения
Бакграунд
- Большие языковые модели преобразуют исследовательские возможности.
- Задачи обработки естественного языка становятся более доступными.
- Существуют трудности из-за быстро развивающихся инструментов и инфраструктуры.
- Исследования направлены на улучшение ухода за пациентами и операционной эффективности.
Цель исследования
- Улучшить качество ответов больших языковых моделей.
- Облегчить сравнение производительности между моделями.
- Исследовать применения в здравоохранении и исследованиях.
Использованные методы
- Расширение специализированными статьями.
- Механизм векторных встраиваний для интеграции.
- Предоставленный код для сравнения производительности.
- Анализ ответов модели.
Основные результаты
- Наблюдается улучшение качества ответов.
- Повышается доступность задач обработки естественного языка для исследователей.
- Получены представления об операционных трудностях в здравоохранении.
- Создан фреймворк для будущих исследований.
Выводы
- Расширение может значительно улучшить производительность модели.
- Исследования в здравоохранении могут воспользоваться улучшенными инструментами обработки естественного языка.
- Постоянная адаптация к новым инструментам важна для прогресса.
Часто задаваемые вопросы
Executive Industry Relevance
Integrating vector embeddings with large language models (LLMs) enables biopharma R&D teams to rapidly incorporate up-to-date, domain-specific scientific literature into AI-driven workflows. This approach addresses the challenge of static model corpora in fast-evolving biomedical fields, supporting more responsive and context-aware discovery-stage decision making. Embedding-based augmentation enhances predictive confidence and operational agility across the research portfolio.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Accelerates hypothesis interrogation by surfacing the latest peer-reviewed findings relevant to target biology.
- Reduces mechanistic ambiguity by enabling LLMs to access proprietary or recent scientific data.
- Supports functional target validation by contextualizing queries with curated literature evidence.
Screening & Assay Development
- Facilitates preparation of validated knowledge bases for assay design and optimization.
- Improves reproducibility by standardizing access to current protocols and data sources.
- Enables scalable, query-driven evaluation of compound or assay information from diverse text sources.
Translational & Preclinical Research
- Aligns discovery insights with translational biomarker literature for improved preclinical model selection.
- Maintains continuity from early discovery through preclinical validation by integrating evolving scientific evidence.
- Supports risk-adjusted advancement by providing rapid access to the latest mechanistic studies.
Pipeline & Workflow Integration
Embedding-augmented LLMs fit within the discovery-to-preclinical continuum by enabling dynamic literature interrogation, benchmarking, and knowledge synthesis at each inflection point.
- Discovery Biology: Supports hypothesis testing and pathway clarification by retrieving context-specific literature.
- Screening: Delivers reproducible, up-to-date assay information for compound evaluation workflows.
- Analytics: Provides quantitative outputs and comparative model performance metrics for informed decision making.
- Translational Research: Connects discovery findings to preclinical and biomarker-aligned evidence streams.
- Enterprise Reuse: Establishes a reusable, privacy-preserving framework for ongoing domain-specific LLM augmentation.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces biological risk by leveraging current literature.
- Operational Value: Standardizes and scales knowledge integration across teams and projects.
- Strategic Value: Enables faster, evidence-driven go/no-go decisions and portfolio triage.
- Portfolio Impact: Supports risk-adjusted prioritization and advancement of discovery programs.
Implementation Considerations
- Requires expertise in machine learning, NLP, and biomedical data curation.
- Needs infrastructure for vector database management and secure document handling.
- Demands cross-team standardization of document formats and query protocols.
- Must be adaptable to diverse scientific domains and evolving data sources.
- Performance depends on quality and relevance of the embedded literature corpus.
