Reconnaissance biomédicale nommée en cas de peu et zéro tir : une procédure pour améliorer BioBERT grâce à l’apprentissage basé sur les prompts et les grands modèles de langage

Résumé

Cet article présente un protocole pour la reconnaissance biomédicale des entités nommées utilisant BioBERT, l’apprentissage par prompt et de grands modèles de langage pour des scénarios à faible niveau de ressources.

Résumé

La reconnaissance biomédicale des entités nommées (NER) joue un rôle crucial dans l’extraction d’informations précieuses à partir de textes cliniques et de la littérature biomédicale. Les modèles traditionnels d’apprentissage profond, notamment BioBERT, ClinicalBERT et RoBERTa, ont démontré des améliorations substantielles dans les tâches du NER ; cependant, ils peinent encore avec des termes biomédicaux à faible ressource, des défis d’adaptation au domaine et une généralisation invisible des entités. Pour remédier à ces limites, cette étude introduit un cadre hybride combinant BioBERT, apprentissage par prompt et grands modèles de langage (LLM) afin d’améliorer les capacités d’apprentissage en poche et zéro injection dans le réseau biomédical NER. Le modèle proposé exploite efficacement les connaissances contextuelles provenant de transformateurs pré-entraînés, réduisant la dépendance à des ensembles de données étendus et étiquetés tout en maintenant une grande précision. Après une évaluation expérimentale approfondie sur plusieurs ensembles de données biomédicales de référence, l’approche proposée démontre des performances constamment solides. Plus précisément, il atteint 89,8 % de précision, 88,7 % de précision, 90,5 % de rappel et un score F1 de 0,895, surpassant les méthodes de référence et démontrant son efficacité pour les tâches d’exploration de texte biomédicale. Comparé à d’autres méthodes, l’ingénierie des prompts aide le modèle à s’adapter beaucoup mieux au langage unique des textes biomédicaux. De plus, booster avec un grand modèle de langage (LLM) donne un coup de pouce sérieux aux performances de NER en captant des détails sémantiques et grammaticaux complexes. Ces résultats démontrent l’efficacité de l’apprentissage en peu de tirs et en zéro coup dans l’exploration de textes biomédicales, ouvrant la voie à une meilleure analyse automatisée des données cliniques et à des systèmes d’aide à la décision plus intelligents.

Introduction

L’explosion de la littérature biomédicale, des dossiers médicaux électroniques (DME) et des données d’essais cliniques nécessite réellement des systèmes biomédicaux robustes de reconnaissance des entités nommées (BioNER). BioNER est une tâche spécialisée en traitement du langage naturel (NLP) qui vise à identifier des entités telles que des maladies, des gènes, des protéines, des médicaments et des substances chimiques dans un texte biomédical non^{structuré 1}. Être capable de repérer ces entités avec précision est très important pour de nombreux autres usages, comme l’exploration des connaissances biomédicales, la découverte de nouveaux médicaments, le soutien aux médecins dans des décisions cliniques, ou même le tri automatique de piles d’articles^{de recherche 2}.

Bien que des avancées significatives aient été réalisées dans les modèles basés sur l’apprentissage profond — tels que BioBERT, ClinicalBERT et BlueBERT — la plupart des approches biomédicales supervisées de reconnaissance d’entités nommées (BioNER) existantes reposent fortement sur des ensembles de données annotés à grande échelle. Cette forte dépendance à des données étiquetées étendues limite leur capacité de généralisation lorsqu’elles sont appliquées à des textes biomédicaux nouveaux ou^{inédits 3}. Les modèles classiques de BioNER nécessitent énormément de données annotées juste pour les affiner, ce qui devient un vrai casse-tête dans les domaines où il n’y a tout simplement pas assez de données, comme les maladies rares, la pharmacogénomique ou la recherche biomédicale publiée dans d’autres langues que^{l’anglais 4}. En plus de cela, taguer manuellement tout ce texte biomédical est lent, coûteux, et nécessite généralement de vrais experts dans le^{domaine 5}. C’est pourquoi le développement de modèles BioNER à faible et à zéro injection est si important : cela pourrait réduire considérablement le besoin de données étiquetées tout en garantissant que les modèles fonctionnent bien sur un large éventail de contenus^{biomédicaux 6}.

L’apprentissage par peu de coups (FSL) permet aux modèles d’atteindre une performance de reconnaissance concurrentielle d’entités en utilisant seulement une petite fraction des données étiquetées, généralement entre 1 % et 10 % de l’ensemble de l’ensemble des données d’entraînement, ce qui le rend particulièrement précieux pour les domaines biomédicaux à faible^{ressource 7}. L’apprentissage à zéro disparition (ZSL) va encore plus loin, permettant à un modèle de reconnaître des entités qu’il n’a jamais vues auparavant, simplement en exploitant la puissance de grands modèles de langage pré-entraînés (LLM), sans avoir besoin de données d’entraînement^{supplémentaires 8}. Récemment, les avancées dans les LLM comme GPT-4, LLaMA et Falcon ont démontré de fortes performances zéro tir sur des tâches générales du NER, mais leur utilisation dans les textes biomédicaux réels reste largement un territoire inexploré. C’est parce que le langage en biomédical est tellement spécialisé et compliqué⁹.

Cette recherche vise à combler cet écart en réunissant l’ajustement fin BioBERT, l’apprentissage en peu de shots, l’inférence LLM zero-shot et l’apprentissage par prompt, le tout dans le but d’élever le niveau pour BioNER dans des contextes biomédicaux à faibles ressources.

Pour donner une idée de ce qui existe déjà : (1) BioBERT est une version de BERT qui a été réécrite sur des résumés PubMed et des articles en texte intégral, donc elle est mieux adaptée au contenu^{biomédical 10}. (2) ClinicalBERT est une variante de BERT entraînée sur les DSE, il est donc spécialement conçu pour donner du sens aux notes cliniques et aux rapports^{médicaux 11}. (3) BlueBERT est un autre modèle de NLP biomédicale, entraîné à la fois sur PubMed et MIMIC-III, et il est optimisé pour reconnaître les éléments médicaux dans le texte¹². (4) PubMedBERT est un modèle transformateur entraîné uniquement sur des données PubMed, ce qui lui permet de vraiment capter ces schémas et terminologies uniques que l’on trouve dans la rédaction^{biomédicale 13}.

Bien que ces modèles atteignent des performances de pointe sur les benchmarks BioNER, leur dépendance à de grands ensembles de données étiquetés et à un ajustement supervisé limite leur adaptabilité à de nouveaux domaines^{biomédicaux 14}. De plus, les changements de domaine entre la littérature scientifique biomédicale (par exemple, résumés PubMed) et les notes cliniques (par exemple, le jeu de données i2b2 2010) dégradent encore davantage la performance des systèmes BioNER^{supervisés 15}.

Les principales limites des recherches actuelles sur BioNER incluent : Dépendance aux données annotées : Les modèles existants basés sur transformateurs nécessitent des ensembles de données étiquetés étendus, rares dans des domaines biomédicaux^{spécialisés 16}. Manque de généralisation aux entités invisibles : Les modèles actuels peinent à reconnaître des termes biomédicaux rares ou nouveaux absents des données d’entraînement¹⁷. Exploration limitée de l’apprentissage à peu de tirs et à zéro coup : La plupart des recherches se concentrent sur l’apprentissage entièrement supervisé, avec une investigation minimale sur les paradigmes à faible donnée pour BioNER¹⁸. Adaptation inefficace des LLM : Bien que les LLM comme GPT-4 et LLaMA présentent de fortes performances zéro en NLP général, leur application au NER biomédical reste sous-explorée en raison de la complexité terminologique et de l’absence d’invites spécifiques au^{domaine 19}.

Pour combler ces lacunes, cette étude explore les questions clés suivantes : Comment l’apprentissage par poings de tirs peut-il améliorer la performance de BioBERT dans le NER biomédical avec un minimum de données étiquetées ? L’inférence zéro coup en utilisant des LLM peut-elle reconnaître avec précision les entités biomédicales sans ajustement fin spécifique au domaine ? Comment l’apprentissage basé sur les prompts peut-il améliorer la performance zéro injection dans les tâches biomédicales NER ? Quelle est l’approche hybride optimale combinant BioBERT et des pseudo-étiquettes générées par LLM pour améliorer BioNER dans des contextes à faibles ressources ? Comment l’entraînement adversarial impacte-t-il la robustesse des modèles BioNER à peu de tirs et à zéro tir ?

L’objectif de cette recherche est de développer un nouveau cadre biomédical adaptatif pour la NER qui exploite l’apprentissage en peu de tirs et en zéro coup pour relever les défis posés par la rareté des données étiquetées. L’étude vise à renforcer les capacités de généralisation de BioBERT et des LLM en explorant les techniques d’ingénierie rapide, l’apprentissage contrastif et l’entraînement adversaire.

La recherche est structurée autour des objectifs suivants : (1) Développer un pipeline d’apprentissage en quelques coups pour le NER biomédical en affinant BioBERT sur des données annotées limitées. (2) Évaluation des LLM zéro shot (par exemple, GPT-4, LLaMA, Falcon) pour le NER biomédical en utilisant l’ingénierie des prompts spécifiques à un domaine. (3) Créer une approche hybride intégrant l’ajustement fin BioBERT avec des pseudo-étiquettes générées par LLM pour améliorer la reconnaissance des entités dans des ensembles de données biomédicales à faible ressource. (4) Réaliser une analyse comparative des poches de tirs versus apprentissage zéro injection en utilisant des benchmarks biomédicaux standards (MedMentions, BC5CDR, i2b2 2010, PharmaCoNER, BioASQ). (5) Mise en œuvre de la formation adversariale (FGSM, PGD) pour renforcer la robustesse du modèle face aux variations bruitées de textes biomédicaux.

Cette étude contribue au domaine du NLP biomédical et de la reconnaissance des entités en introduisant des stratégies BioNER à faible et à zéro tir pour répondre à la rareté des étiquettes dans les ensembles de données biomédicales et en démontrant comment les LLM peuvent être exploités pour un NER biomédical zéro tir grâce à une ingénierie optimisée des prompts. Proposition d’un cadre hybride combinant l’ajustement fin BioBERT et les annotations synthétiques générées par LLM pour une meilleure généralisation. Évaluation de l’impact de l’entraînement adversarial sur les modèles BioNER afin d’améliorer la robustesse face aux changements de domaine. Fournir un benchmark comparatif des performances de BioNER à travers les paradigmes supervisé, peu de tir et zéro tir.

Aperçu de la littérature
Sivarajkumar et^{Wang 20} ont développé HealthPrompt, un cadre Zero-Shot Learning (ZSL) pour le NLP clinique qui répond au manque de jeux de données cliniques annotés. Au lieu d’ajuster un modèle de langage pré-entraîné (PLM), ils ont utilisé l’apprentissage par prompt, où les définitions de tâches sont ajustées à l’aide de modèles structurés. Leur évaluation de six PLM, dont BioBERT et ClinicalBERT, sur le jeu de données MIMIC-III, a montré que ClinicalBERT obtenait la meilleure précision (85 %) et le meilleur score F1 (86 %) pour la classification clinique du texte. Cette étude montre que l’apprentissage zéro shot basé sur les prompts (ZSL) peut suivre les modèles supervisés en traitement clinique du langage naturel (NLP), sans nécessiter de données d’entraînement.

Keming Lu et son équipe²¹ ont développé BIODLM, une nouvelle approche pour affiner les modèles de langage discriminatifs (DLM) dans le domaine biomédical via un préentraînement continu basé sur des prompts. Leur objectif principal était d’améliorer les performances sur les tâches à peu de tir et à zéro injection en biomédecine en utilisant un réglage intelligent des prompts et la méthode de détection des jetons remplacés (RTD). Pour que cela fonctionne, ils expérimentent avec le vocabulaire, mélangent délibérément des termes spécifiques à chaque domaine, et utilisent PubMedBERT comme générateur lors de la pré-entraînement. Les résultats sont solides : BIODLM a en fait surpassé les réglages finis habituels basés sur le CLS, obtenant une précision macro-moyenne de 50,2 % sous supervision complète et 43,4 % en mode zéro tir.

Zonghai Yao et^{ses collègues 22} ont adopté une approche différente, en se concentrant sur la génération de prompts tenant compte de la variance contextuelle. Leur objectif était de réduire les biais étranges pouvant apparaître lors des sondages sur prompt et de rendre l’évaluation BioLAMA plus transparente et interprétable. En d’autres termes, ils essaient de s’assurer que ces modèles de langage nous donnent des réponses cohérentes et ne se contentent pas de capter des consignes habilement formulées.

Ils ont introduit une métrique d’évaluation basée sur le changement de rang (UCM : Understand–Confuse–Misunderstand) au lieu de la précision traditionnelle Top-k pour évaluer les PLM sur la reconnaissance d’entités biomédicales. Des expériences sur 12 PLM, incluant BioBERT, ClinicalBERT et des modèles basés sur RoBERTa, ont montré une amélioration des performances de BioLAMA pour les relations grand-N-M et les entités biomédicales rares. BioBERT a obtenu un Accuracy@1 de 40,7 % et la compréhension UCM de 32,8 %, surpassant les métriques traditionnelles du Top-k.

Yeh et ^al.23 ont étudié l’incitation à l’extraction de relations biomédicales en utilisant le jeu de données ChemProt pour améliorer l’ajustement fin des données et des données complètes spécifiques à chaque domaine. Ils ont conçu des modèles basés sur des prompts qui intègrent des métriques de notation telles que la fréquence, la spécificité et la similarité afin d’optimiser la sélection des mots sur les étiquettes. En utilisant BioMed-RoBERTa-base, leur méthode a obtenu un score F1 de 90,09, surpassant SciFive-Large de 1,14 F1 et dépassant le réglage fin classique de 14,21 F1. Cela confirme que l’apprentissage par prompt améliore les performances du NER biomédical avec moins d’exemples d’entraînement.

Susanti et Holsmoelle ²⁴ ont étudié la vérification basée sur le NLP des graphes causaux, en comparant des modèles de langage finement ajustés et des LLM basés sur des requêtes. Ils ont entraîné les modèles BioBERT et GPT pour une classification supervisée des relations causales et évalué les LLM basés sur des prompts zéro et peu de tir. Les résultats sur des ensembles de données biomédicaux et en domaine ouvert ont révélé que les modèles finement ajustés surpassaient les demandes LLM, obtenant jusqu’à 20,5 % de scores F1 supérieurs. L’étude souligne la nécessité d’un prompting avancé et d’un réglage spécifique à chaque ensemble de données pour améliorer la précision de l’extraction des relations causales.

Chen et ^al.25 ont proposé un cadre de génération d’instances guidé par la connaissance et un apprentissage contrastif prompt pour BioNER à quelques tirs. Leur approche exploite les graphes de connaissances de domaine pour générer diverses entités biomédicales et emploie un apprentissage contrastif basé sur la question et l’invite pour améliorer la reconnaissance des entités en mesurant l’information mutuelle entre les paires requête-réponse. Évalué sur des ensembles de données fbenchmark (NCBI, BC5CDR-Disease, BioNLP11EPI, BioNLP13GE), leur modèle a obtenu une amélioration du score F1 allant jusqu’à 7,1 % par rapport aux modèles de pointe dans des scénarios à 20 injections. Leur code est accessible publiquement à : https://github.com/cpmss521/KGPC.

Chen et ^al.26ont également proposé une approche d’apprentissage prompt pour la détection des affirmations biomédicales en transformant la classification des textes en une tâche de modélisation du langage masqué (MLM). En utilisant BERT, RoBERTa et T5 avec des modèles stricts et mixtes, ils ont amélioré la précision des prédictions des revendications. Sur le jeu de données BioClaim, leur modèle T5 avec des modèles mixtes a obtenu une amélioration de score F1 de 5,3 % par rapport aux modèles précédents, comblant l’écart entre le préentraînement et le réglage fin dans les PLM utilisant la prédiction des jetons masqués.

Ryan Shea Ying Cong Tan et ^al.27 ont évalué les LLM pour l’inférence de réponse aux maladies cancéreuses à partir de rapports radiologiques en utilisant des modèles transformers, Bi-LSTM, CNN et ML classique. Leur méthode comprenait l’augmentation des données (permutation de phrases et perte de cohérence) et l’ajustement fin basé sur les prompts. Le transformateur GatorTron a obtenu la meilleure précision : 0,8916 sur l’ensemble de test et 0,8976 après augmentation. L’ajustement fin basé sur les prompts permettait des performances efficaces avec aussi peu que 500 rapports identifiés.

Hu et ^al.28 ont évalué GPT-3.5 et GPT-4 pour le NEE clinique, améliorant les performances via un cadre d’incitations en quatre parties : prompts de référence, prompts basés sur des directives, instructions basées sur des erreurs et échantillons de quelques shots. Sur les ensembles de données MTSamples et VAERS, GPT-3.5 et GPT-4 ont amélioré leurs scores F1 relaxés de 0,634/0,804 et 0,301/0,593 à 0,794/0,861 et 0,676/0,736, respectivement. Bien que toujours en retard sur BioClinicalBERT (F1 : 0,901 sur MTSamples, 0,802 sur VAERS), ces résultats montrent l’efficacité croissante des LLM dans le NER clinique avec des stratégies d’incitation appropriées.

Protocole

1. Procédure

1. Prétraitement des données et ajustement fin du modèle
   Les données ont été prétraitées à partir de PubMed, BioASQ, MedQA et MMLU en utilisant la normalisation du texte, la tokenisation (WordPiece/BPE), la suppression des mots stopword et l’annotation IOB. Réalisation d’ajustements finis spécifiques au domaine de BioBERT en utilisant Masked Language Modeling (MLM) et une tête de classification de jetons. Comparé aux méthodes basées sur des adaptateurs comme LoRA.
2. Mise en œuvre de l’apprentissage Few-Shot et Zero-Shot BASÉ sur PROMPT
   Pour l’apprentissage sans coup : Utilisation de LLM (GPT-4, GPT-3.5, T5) avec des indications de langage naturel (par exemple, « Extraire des entités biomédicales du texte suivant : [Phrase d’entrée]. Les entités à identifier sont les maladies, les médicaments, les gènes et les produits chimiques. Listez chaque entité et son type. ») et l’accordage des instructions. Utilisation de 5 à 20 exemples marqués par type d’entité avec entraînement à l’exploitation de motifs (PET) et préfixe accordé.
3. Intégration des LLM et mise en place d’un cadre hybride
   Des embeddings contextuels, la fusion et la prédiction multi-étapes du NER (détection BioBERT + affinage GPT-4) ont été réalisés. Ce cadre utilisait une approche de réglage fin séquentiel en deux étapes (et non de bout en bout) pour gérer la complexité computationnelle. Premièrement, BioBERT a été affiné sur les quelques données disponibles sur les tirs. Deuxièmement, ce modèle BioBERT figé a été intégré au composant LLM via la couche de fusion, qui a été entraînée sur les mêmes données. Ainsi, il a été intégré selon une stratégie de réglage fin en deux étapes :
   Étape 1 – Ajustement supervisé de BioBERT pour NER.
   Étape 2 – Adaptation basée sur des prompts via sorties GPT-4.
   
   où α est un coefficient appris, et Wp est la matrice de projection.
   Un vote d’ensemble pondéré (W_BioBERT=0,45, W_GPT4=0,35, W_ClinicalBERT=0,20) a été appliqué pour fusionner les prédictions.
   Les poids de chaque modèle (W_BioBERT=0,45, W_Hybrid=0,35, W_ClinicalBERT=0,20) ont été optimisés sur un ensemble de validation en main, à l’aide d’une recherche en grille pour maximiser le micro score F1. Ce schéma de pondération reflète les contributions relatives de chaque modèle : le BioBERT finement réglé fournit le signal spécifique au domaine le plus fort, le modèle hybride ajoute la généralisation, et ClinicalBERT offre un contexte clinique complémentaire.
4. Application du raffinement et du lien ontologique
   GPT-4 était utilisé pour le raffinement guidé par des ontologies, acceptant des corrections lorsque la similarité cosinus avec les plongements d’ontologie était ≥ 0,8 (seules les corrections avec > 0,8 sont déjà mentionnées). Les entités étaient reliées à des bases de données UMLS, MeSH et HPO pour la résolution de synonymes.
5. Déploiement du système avec une inférence optimisée
   Le seuil de confiance adaptatif a été mis en œuvre par classe d’entité : T_C = μ_C + βσ_C (β=0,5).
   Un élément clé du pipeline d’inférence est le seuil de confiance adaptative, qui équilibre dynamiquement la précision et le rappel selon les types d’entités. Plutôt que d’utiliser un seuil statique, le mécanisme adaptatif a calculé un seuil TC spécifique à une classe basé sur la distribution empirique de confiance des prédictions :
   
   où μ_C et σ_C représentent la moyenne et l’écart-type des scores de confiance pour la classe d’entité C, et β est un facteur d’échelle ajustable (empiriquement fixé à 0,5). Les types d’entités biomédicales peu fréquents (par exemple, maladies rares) ont tendance à présenter une forte variance des scores de confiance. Le seuil adaptatif garantissait que ces éléments soient conservés lorsque σC est grand, évitant ainsi le surfiltrage des entités rares. Inversement, pour les entités fréquentes, le seuil est resserré pour réduire les faux positifs.
   Le système a été déployé à l’aide d’une interface basée sur Flask avec un traitement multi-GPU (PyTorch DDP) et une quantification 8 bits pour l’inférence en temps réel.

2. Mise en place environnementale

1. Ensembles de données
   Le cadre a été testé sur les ensembles de données biomédicales standards du NER afin d’établir une comparaison équitable. Les ensembles de données suivants ont été utilisés, avec leurs divisions officielles conservées.
   BC5CDR : Pour la reconnaissance d’entités chimiques et de maladies.
   Maladie NCBI : Axée sur les mentions de maladies.
   i2b2 2010 : Pour la reconnaissance des concepts cliniques dans les dossiers médicaux électroniques (DME).
2. Évaluation
   Pour garantir la robustesse statistique, nous avons effectué 5 exécutions indépendantes pour chaque expérience à quelques tirs (K=5,10,15) avec différentes graines aléatoires pour l’échantillonnage des données et l’initialisation des poids. La précision, la précision, le rappel et le score F1 étaient rapportés sur ces parcours. Des résultats à zéro tir, étant déterministes, ont été rapportés à partir d’une seule course.
   Pour évaluer la faisabilité du déploiement des systèmes biomédicaux NER Few-Shot et Zero-Shot proposés dans des environnements biomédicaux en temps réel, une analyse détaillée de l’efficacité computationnelle et du profilage des ressources a été réalisée. Le profilage a été effectué sur un GPU NVIDIA A100 (40 Go de VRAM) avec CUDA 12.1 et PyTorch 2.3.1, en utilisant l’inférence en précision mixte (FP16) pour équilibrer vitesse et efficacité mémoire.
3. Modèles de référence
   BioBERT (Affiné) : Le modèle de base¹⁰de BioBERT-v1.1 a été ajusté de manière entièrement supervisée sur l’ensemble des données d’entraînement de chaque benchmark.
   ClinicalBERT & RoBERTa-base : Ajustés finement en bases spécifiques au domaine et au domaine général.
   GPT-3.5 & GPT-4 (Zero-Shot) : Testés comme décrit à l’étape 3.3, sans ajustement précis par tâche.
   HealthPrompt²⁰ : Le modèle clinique NER zéro à injection basée sur des prompts de pointe actuel.
   Pour une reproductibilité complète, les bibliothèques logicielles de base, les points de contrôle des modèles et les détails matériels utilisés dans cette étude sont listés dans le tableau des matériaux. Cela inclut des versions spécifiques de composants clés, tels que la variante du modèle BioBERT, le LLM, le cadre d’apprentissage profond et l’environnement informatique.

Résultats

L’évaluation du modèle de reconnaissance biomédicale des entités nommées (NER) Few-Shot et Zero-Shot a été réalisée sur un ensemble de données biomédical diversifié dérivé des résumés PubMed, des notes cliniques et des corpus de questions-réponses biomédicales. Une analyse comparative de la performance avec des modèles établis, notamment BioBERT, ClinicalBERT, RoBERTa,^{PhenoBERT 29}, GPT-3.5 et GPT-4, a été réalisée. Le modèle proposé a obtenu une précision globale ...

Discussion

Résultats contradictoires, résultats inattendus et divergences avec d’autres recherches
Malgré la meilleure performance du modèle proposé, certains résultats contradictoires sont apparus par rapport aux études existantes. Les modèles basés sur BioBERT ont traditionnellement démontré de fortes performances en reconnaissance d’entités nommées biomédicales (NER), comme rapporté dans des enquêtes précédentes et des études comparatives sur les systèmes biomédicaux NER

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Modèle de base	BioBERT-base (v1.1)	Visage de câlins :  ; monologg/biobert-v1.1
Cadre d’apprentissage profond	PyTorch 2.3.1	https://pytorch.org/
Matériel GPU	NVIDIA A100 (40 Go de VRAM)	NVIDIA
Grand Modèle de langage (LLM)	GPT-4	OpenAI API
Système d’exploitation	Fenêtres	Microsoft
Réglage à efficacité paramétrique	LoRA (via la bibliothèque PEFT 0.6.2)	https://github.com/huggingface/peft
Langage de programmation	Python 3.9.18	Fondation Python Software
LLM de base zéro tir	GPT-3.5-Turbo	OpenAI API