Дополнение больших языковых моделей с помощью векторных встраиваний для улучшения отзывчивости, специфичной для предметной области
6 декабря 2024 г.
В этом протоколе качество отклика базовой большой языковой модели улучшается за счет дополнения рецензируемыми предметно-ориентированными научными статьями с помощью механизма векторного встраивания. Кроме того, предоставляется код, помогающий сравнивать производительность больших языковых моделей.
Наши исследования сосредоточены на широком спектре приложений машинного обучения и больших языковых моделей в лечении рака. Это включает в себя как улучшение непосредственного ухода за пациентами, так и решение операционных проблем, таких как планирование и документирование. В конечном счете, мы пытаемся ответить на вопрос: как эти технологии могут улучшить здравоохранение для пациентов, поставщиков услуг и исследователей?
Большие языковые модели уже начали трансформировать исследовательский ландшафт. Ранее непомерно сложные задачи обработки естественного языка стали доступны гораздо большему числу исследователей, что позволило провести множество новых направлений исследований с использованием неструктурированных данных. Основной проблемой является быстро меняющийся ландшафт инструментов и инфраструктуры больших языковых моделей.
У многих клиницистов и исследователей могут быть идеи для приложений, но в настоящее время они не обладают контекстуальными или техническими знаниями, необходимыми для реализации, или вдумчивым рассмотрением компромиссов различных подходов. Чтобы начать, установите Git, Python и PIP на компьютер и выполните команды в терминале, чтобы проверить установку. Затем выполните команду git clone, чтобы загрузить репозиторий и установить необходимые требования.
Чтобы создать векторную базу данных, отредактируйте конфиг. py, заменив значение следующей переменной на путь к файлу к папке, содержащей документы, которые будут использоваться для дополнения большой языковой модели. Затем сохраните обновленный файл в директории articles.
Затем в терминале в том же каталоге выполните код с помощью команды Python 3 build index для создания и сохранения базы данных. Проверьте, сохранена ли база данных в папке векторной базы данных. Чтобы запросить дополненный LLM, выполните команду Python 3 run augmented llm.
py в терминале. Тестируйте запросы пользователей для получения ответов, дополненных данными из набора документов. Затем нажмите Control плюс C, чтобы выйти после завершения.
Для создания MCQ отредактируйте файл вопросов. py, обращая внимание на формат примеров. Добавьте вопросы в аналогичном формате и сохраните файл.
Чтобы отредактировать конфиг. pi, добавьте ключ API для открытого ИИ или обнимающегося лица. Если цель состоит в том, чтобы сравнить модели от любого из поставщиков.
Теперь сохраните файл. Затем отредактируйте сравнительные llm. py и выберите набор моделей для тестирования.
После раскомментирования моделей для сравнения. Наконец, в терминале выполните код с помощью команды compare llms и после выполнения просмотрите ответы модели в указанной папке для оценки или другого обзора. Среди протестированных MCQ встраиваемая модель показала значительно лучшие результаты, чем базовая, как и дополненные модели открытого искусственного интеллекта.
Обзор
Данный протокол повышает качество ответов больших языковых моделей путем интеграции рецензируемых научных статей с помощью механизма векторного встраивания. Он также содержит код для сравнения производительности различных больших языковых моделей.
Основные компоненты исследования
Область науки
- Машинное обучение
- Обработка естественного языка
- Приложения в здравоохранении
Теоретические сведения
- Большие языковые модели трансформируют исследовательские возможности.
- Задачи обработки естественного языка становятся более доступными.
- Существуют сложности, обусловленные быстрым развитием инструментов и инфраструктуры.
- Целью исследований является улучшение ухода за пациентами и повышение операционной эффективности.
Цель исследования
- Для повышения качества ответов больших языковых моделей.
- Для облегчения сравнения производительности различных моделей.
- Для изучения возможностей применения в здравоохранении и научных исследованиях.
Используемые методы
- Дополнение статьями из профильных областей.
- Механизм векторного эмбеддинга для интеграции.
- Предоставлен код для сравнения производительности.
- Анализ ответов модели.
Основные результаты
- Наблюдалось улучшение качества ответов.
- Повысилась доступность задач NLP для исследователей.
- Получены сведения об операционных проблемах в здравоохранении.
- Сформирована база для будущих исследований.
Выводы
- Аугментация может значительно повысить производительность модели.
- Исследования в сфере здравоохранения могут извлечь выгоду из улучшенных инструментов NLP.
- Постоянная адаптация к новым инструментам имеет решающее значение для прогресса.
Часто задаваемые вопросы
Практическая значимость для отрасли
Интеграция векторных эмбеддингов с большими языковыми моделями (LLM) позволяет командам по исследованиям и разработкам (R&D) в биофармацевтике оперативно включать актуальную профильную научную литературу в рабочие процессы на базе ИИ. Такой подход решает проблему статичности корпусов данных моделей в быстро развивающихся биомедицинских областях, обеспечивая более гибкое и контекстно-зависимое принятие решений на этапе открытий. Дополнение на основе эмбеддингов повышает точность прогнозов и оперативность реализации всего исследовательского портфеля.
Стратегические применения в биофармацевтических исследованиях&D
Первичный поиск и валидация мишени
- Ускоряет проверку гипотез за счет предоставления последних рецензируемых данных, имеющих отношение к биологии мишени.
- Снижает неопределенность механизмов, обеспечивая LLM доступ к проприетарным или актуальным научным данным.
- Поддерживает функциональную валидацию мишеней, дополняя запросы контекстом из курируемых литературных источников.
Скрининг и разработка анализа
- Облегчает подготовку валидированных баз знаний для разработки и оптимизации анализа.
- Повышает воспроизводимость за счет стандартизации доступа к актуальным протоколам и источникам данных.
- Обеспечивает масштабируемую, основанную на запросах оценку информации о соединениях или анализах из различных текстовых источников.
Трансляционные и доклинические исследования
- Сопоставляет результаты открытий с литературой по трансляционным биомаркерам для более точного выбора доклинических моделей.
- Обеспечивает непрерывность процесса от начального этапа поиска до доклинической валидации путем интеграции обновляемых научных данных.
- Поддерживает продвижение проектов с учетом рисков, обеспечивая быстрый доступ к последним исследованиям механизмов действия.
Интеграция конвейеров и рабочих процессов
LLM с дополненным эмбеддингом вписываются в континуум от поиска до доклинических исследований, обеспечивая динамический анализ литературы, бенчмаркинг и синтез знаний в каждой критической точке.
- Биология открытий: Поддерживает проверку гипотез и уточнение путей посредством поиска контекстуально значимой литературы.
- Скрининг: Предоставляет воспроизводимую и актуальную информацию о методах анализа для рабочих процессов оценки соединений.
- Аналитика: Обеспечивает количественные результаты и сравнительные показатели эффективности моделей для принятия обоснованных решений.
- Трансляционные исследования: Связывает результаты открытий с доклиническими данными и потоками доказательств, ориентированными на биомаркеры.
- Корпоративное повторное использование: Создает многократно используемую структуру с соблюдением конфиденциальности для постоянного расширения специализированных LLM.
Операционное и корпоративное воздействие
- Научная ценность: повышает точность прогнозов и снижает биологические риски за счет использования актуальной литературы.
- Операционная ценность: стандартизирует и масштабирует интеграцию знаний между командами и проектами.
- Стратегическая ценность: позволяет быстрее принимать обоснованные решения о продолжении или прекращении работ (go/no-go), а также проводить сортировку портфеля проектов.
- Влияние на портфель: способствует приоритизации с учетом рисков и продвижению программ по поиску и разработке.
Особенности реализации
- Требуются экспертные знания в области машинного обучения, NLP и курирования биомедицинских данных.
- Необходима инфраструктура для управления векторными базами данных и безопасной обработки документов.
- Требуется межкомандная стандартизация форматов документов и протоколов запросов.
- Должна быть адаптивность к различным научным областям и меняющимся источникам данных.
- Эффективность зависит от качества и релевантности встроенного корпуса литературы.
