Augmentation des modèles de langage de grande taille via des plongements vectoriels pour améliorer la réactivité spécifique au domaine
6 décembre 2024
Dans ce protocole, la qualité de réponse du modèle de langage de base est améliorée grâce à l’augmentation avec des articles scientifiques évalués par des pairs, spécifiques au domaine, grâce à un mécanisme d’intégration de vecteurs. De plus, le code est fourni pour faciliter la comparaison des performances entre les grands modèles de langage.
Nos recherches portent sur une grande variété d’applications d’apprentissage automatique et de grands modèles de langage dans les soins contre le cancer. Il s’agit notamment d’améliorer les soins directs aux patients et de relever les défis opérationnels tels que la planification et la documentation. En fin de compte, nous essayons de répondre à la question suivante : comment ces technologies peuvent-elles améliorer les soins de santé pour les patients, les prestataires et les chercheurs ?
Les grands modèles de langage ont déjà commencé à transformer le paysage de la recherche. Des tâches de traitement du langage naturel auparavant prohibitives sont devenues accessibles à de nombreux chercheurs, ce qui a permis de nombreuses nouvelles lignes de recherche impliquant des données non structurées. L’un des principaux défis est l’évolution rapide du paysage des outils et de l’infrastructure des grands modèles de langage.
De nombreux cliniciens et chercheurs peuvent avoir des idées d’applications, mais n’ont pas actuellement les connaissances contextuelles ou techniques nécessaires à la mise en œuvre, ou à la prise en compte réfléchie des compromis entre différentes approches. Pour commencer, installez Git, python et PIP sur l’ordinateur, puis exécutez les commandes dans un terminal pour vérifier l’installation. Exécutez ensuite la commande git clone pour télécharger le référentiel et installer les exigences nécessaires.
Pour créer une base de données vectorielle, modifiez la configuration. py, en remplaçant la valeur de la variable suivante par le chemin d’accès au dossier contenant les documents qui seront utilisés pour augmenter le modèle de langage volumineux. Enregistrez ensuite le fichier mis à jour dans le répertoire articles.
Ensuite, dans un terminal du même répertoire, exécutez le code avec la commande Python 3 build index pour créer et conserver la base de données. Vérifiez si la base de données est maintenant enregistrée dans le dossier de la base de données vectorielle. Pour interroger le LLM augmenté, exécutez l’exécution Python 3 augmented llm.
py dans le terminal. L’utilisateur de test effectue des requêtes pour recevoir des réponses qui sont complétées par les données de l’ensemble de documents. Appuyez ensuite sur la commande plus C pour quitter lorsque vous avez terminé.
Pour créer des QCM, modifiez les questions du fichier. Py, en prenant note du format des exemples. Ajoutez des questions suivant un format similaire et enregistrez le fichier.
Pour modifier la configuration. pi, ajoutez la clé API pour ouvrir l’IA ou étreindre le visage. Si l’objectif est de comparer les modèles de l’un ou l’autre fournisseur.
Enregistrez maintenant le fichier. Ensuite, éditez le comparer llms. py et choisissez l’ensemble de modèles à tester.
Après avoir décommenté les modèles à comparer. Enfin, dans un terminal, exécutez le code avec la commande compare llms et, après l’exécutioni, affichez les réponses du modèle dans le dossier spécifié pour la notation ou une autre révision. Parmi les QCM testés, le modèle d’intégration a obtenu des résultats nettement meilleurs que le modèle de base, tout comme les modèles d’IA ouverts augmentés.
Aperçu
Ce protocole améliore la qualité des réponses des grands modèles linguistiques en intégrant des articles scientifiques évalués par des pairs au moyen d'un mécanisme d'incorporation vectorielle. Il fournit également du code permettant de comparer les performances entre différents grands modèles linguistiques.
Composantes clés de l'étude
Domaine scientifique
- Apprentissage automatique
- Traitement du langage naturel
- Applications en santé
Contexte
- Les modèles de langage de grande taille transforment les capacités de recherche.
- Les tâches de traitement du langage naturel deviennent plus accessibles.
- Des défis existent en raison de l'évolution rapide des outils et des infrastructures.
- La recherche vise à améliorer les soins aux patients et l'efficacité opérationnelle.
Objectif de l'étude
- Améliorer la qualité de la réponse des grands modèles linguistiques.
- Faciliter la comparaison des performances entre modèles.
- Explorer les applications dans le domaine de la santé et de la recherche.
Méthodes utilisées
- Augmentation avec des articles spécifiques au domaine.
- Mécanisme d'intégration par plongement vectoriel.
- Code fourni pour la comparaison des performances.
- Analyse des réponses du modèle.
Résultats principaux
- Amélioration de la qualité de la réponse observée.
- Accessibilité accrue des tâches de traitement du langage naturel pour les chercheurs.
- Acquis de connaissances sur les défis opérationnels dans le domaine de la santé.
- Un cadre a été établi pour les recherches futures.
Conclusions
- L'augmentation peut considérablement améliorer les performances du modèle.
- La recherche en santé peut bénéficier de l'amélioration des outils de traitement du langage naturel (TLN).
- L'adaptation continue aux nouveaux outils est cruciale pour faire des progrès.
Questions fréquemment posées
Pertinence professionnelle pour l'industrie
L'intégration des plongements vectoriels avec les grands modèles linguistiques (LLMs) permet à la biopharmacie R&D'équipes pour intégrer rapidement des publications scientifiques actualisées et propres à un domaine donné dans des flux de travail pilotés par l'intelligence artificielle. Cette approche répond au défi posé par les corpus de modèles statiques dans des domaines biomédicaux en constante évolution, en soutenant une prise de décision plus réactive et sensible au contexte lors des phases de découverte. L'augmentation fondée sur les plongements (embeddings) améliore la confiance prédictive et l'agilité opérationnelle à travers l'ensemble des projets de recherche.
Applications stratégiques en R&D biopharmaceutique
Découverte précoce et validation de cibles
- Accélère l'interrogation des hypothèses en mettant en évidence les dernières découvertes évaluées par des pairs pertinentes pour la biologie de la cible.
- Réduit l'ambiguïté mécanistique en permettant aux modèles linguistiques de grande taille d'accéder à des données scientifiques propriétaires ou récentes.
- Facilite la validation fonctionnelle des cibles en contextualisant les requêtes avec des preuves issues de la littérature curatée.
Développement de tests et de criblages
- Facilite la préparation de bases de connaissances validées pour la conception et l'optimisation de tests.
- Améliore la reproductibilité en standardisant l'accès aux protocoles et sources de données actuels.
- Permet une évaluation évolutive, pilotée par requête, d'informations sur des composés ou des tests provenant de sources textuelles diverses.
Recherche translationnelle et préclinique
- Aligne les découvertes scientifiques avec la littérature sur les biomarqueurs translationnels afin d'améliorer le choix des modèles précliniques.
- Assure la continuité du stade de découverte précoce à la validation préclinique en intégrant les données scientifiques évolutives.
- Facilite un développement adapté au risque en offrant un accès rapide aux études mécanistiques les plus récentes.
Intégration du pipeline et du flux de travail
Les LLM enrichis par des intégrations intégrées s'inscrivent dans la continuité découverte-préclinique en permettant une interrogation dynamique de la littérature, des comparaisons de référence et une synthèse des connaissances à chaque point d'inflexion.
- Biologie de la découverte : Facilite la vérification des hypothèses et la clarification des voies biologiques en extrayant des publications spécifiques au contexte.
- Écrans de sélection : Fournit des informations reproductibles et actualisées sur les tests pour les flux de travail d'évaluation des composés.
- Analytique : Propose des résultats quantitatifs et des métriques comparatives de performance des modèles afin d'aider à la prise de décision.
- Recherche translationnelle : Relie les découvertes scientifiques à des flux de preuves précliniques et alignés sur des biomarqueurs.
- Réutilisation en entreprise : Met en place un cadre réutilisable et respectueux de la confidentialité pour l'amélioration continue des modèles linguistiques spécialisés.
Impact opérationnel et organisationnel
- Valeur scientifique : Accroît la confiance prédictive et réduit les risques biologiques en s'appuyant sur la littérature actuelle.
- Valeur opérationnelle : Standardise et permet l'extension de l'intégration des connaissances au sein des équipes et des projets.
- Valeur stratégique : Permet des décisions plus rapides de poursuite ou d'abandon fondées sur des preuves, ainsi qu'un tri efficace du portefeuille.
- Impact sur le portefeuille : Favorise la priorisation et la progression des programmes de découverte ajustées au risque.
Considérations relatives à la mise en œuvre
- Nécessite une expertise en apprentissage automatique, en traitement du langage naturel et en curation de données biomédicales.
- Exige une infrastructure pour la gestion de bases de données vectorielles et la manipulation sécurisée des documents.
- Implique une standardisation interéquipes des formats de documents et des protocoles de requête.
- Doit pouvoir s'adapter à divers domaines scientifiques et à des sources de données évolutives.
- Les performances dépendent de la qualité et de la pertinence du corpus documentaire intégré.
