Riconoscimento Biomedico di Entità Nominate Pochi e Zero-Shot: Una Procedura per Migliorare BioBERT con Apprendimento Basato su Prompt e Grandi Modelli di Linguaggio

Sommario

Questo articolo presenta un protocollo per il riconoscimento biomedico di entità nominate utilizzando BioBERT, apprendimento basato su prompt e grandi modelli linguistici per scenari a poche risorse.

Abstract

Il Riconoscimento Biomedico delle Entità Nominate (NER) svolge un ruolo cruciale nell'estrarre informazioni preziose da testi clinici e letteratura biomedica. I modelli tradizionali di deep learning, tra cui BioBERT, ClinicalBERT e RoBERTa, hanno dimostrato miglioramenti sostanziali nei compiti NER; tuttavia, continuano a faticare con termini biomedici a basse risorse, sfide di adattamento al dominio e generalizzazione di entità invisibile. Per affrontare queste limitazioni, questo studio introduce un framework ibrido che combina BioBERT, apprendimento basato su prompt e Large Language Models (LLM) per migliorare le capacità di apprendimento a poche e zero opportunità nel NER biomedico. Il modello proposto sfrutta efficacemente la conoscenza contestuale di transformer pre-addestrati, riducendo la dipendenza da ampi dataset etichettati mantenendo al contempo un'elevata accuratezza. Dopo un'ampia valutazione sperimentale su molteplici dataset di benchmark biomedici, l'approccio proposto dimostra prestazioni costantemente forti. In particolare, raggiunge l'89,8% di accuratezza, l'88,7% di precisione, il 90,5% di richiamo e un punteggio F1 di 0,895, superando i metodi di base e dimostrandone l'efficacia per compiti di mining di testi biomedici. Rispetto ad altri metodi, l'ingegneria dei prompt aiuta il modello ad adattarsi molto meglio al linguaggio unico dei testi biomedici. Inoltre, il boost con un modello linguistico di grandi dimensioni (LLM) dà un serio impulso alle prestazioni di NER, cogliendo dettagli semantici e grammaticali complessi. Questi risultati dimostrano l'efficacia dell'apprendimento a pochi e zero shot nel mining di testi biomedici, aprendo la strada a un'analisi dei dati clinico automatizzata migliore e a sistemi di supporto decisionale più intelligenti.

Introduzione

L'esplosione della letteratura biomedica, delle cartelle cliniche elettroniche (EHR) e dei dati degli studi clinici necessita davvero di sistemi biomedici robusti e intelligenti di Riconoscimento delle Entità Nominate (BioNER). BioNER è un compito specializzato nell'elaborazione del linguaggio naturale (NLP) che mira a identificare entità come malattie, geni, proteine, farmaci e sostanze chimiche nel testo biomedico^{non strutturato 1}. Essere in grado di individuare queste entità con precisione è fondamentale per molti altri scopi, come estrarre conoscenze biomediche, trovare nuovi farmaci, supportare i medici nelle decisioni cliniche o addirittura selezionare automaticamente pile di articoli^{di ricerca 2}.

Sebbene siano stati raggiunti progressi significativi nei modelli basati sul deep learning — come BioBERT, ClinicalBERT e BlueBERT — la maggior parte degli approcci biomedici supervisionati di riconoscimento di entità nominate (BioNER) esistenti continua a basarsi fortemente su dataset annotati su larga scala. Questa forte dipendenza da dati etichettati estesi limita la loro capacità di generalizzazione quando applicata a testi biomedici nuovi o mai visti³. I modelli classici di BioNER richiedono tantissimi dati annotati solo per perfezionarli, il che diventa un vero problema in aree dove non ci sono abbastanza dati, pensa a malattie rare, farmacogenomica o ricerca biomedica pubblicata in lingue diverse^{dall'inglese 4}. Inoltre, taggare manualmente tutto questo testo biomedico è lento, costoso e di solito richiede veri esperti nel^{campo 5}. Ecco perché è così importante sviluppare modelli BioNER a pochi e zero shot: potrebbe ridurre significativamente la necessità di dati etichettati assicurando che i modelli funzionino bene su un'ampia gamma di contenuti^{biomedici 6}.

L'apprendimento con pochi colpi (FSL) consente ai modelli di raggiungere prestazioni competitive di riconoscimento di entità utilizzando solo una piccola frazione dei dati etichettati, tipicamente tra l'1% e il 10% dell'intero dataset di addestramento, rendendolo particolarmente prezioso per i domini biomedici a basse risorse⁷. Lo zero-shot learning (ZSL) va ancora oltre, permettendo a un modello di riconoscere entità che non aveva mai visto prima, semplicemente sfruttando la potenza di grandi modelli linguistici pre-addestrati (LLM), senza bisogno di dati di addestramento aggiuntivi⁸. Ultimamente, i progressi negli LLM come GPT-4, LLaMA e Falcon hanno dimostrato ottime prestazioni zero-shot in compiti generali di NER, ma il loro utilizzo nei veri testi biomedici rimane in gran parte territorio inesplorato. Questo perché il linguaggio nelle cose biomediche è così specializzato e^{complicato 9}.

Questa ricerca mira a colmare questo divario unendo il fine-tuning di BioBERT, l'apprendimento con pochi shot, l'inferenza LLM zero-shot e l'apprendimento basato su prompt, il tutto con l'obiettivo di alzare l'asticella per BioNER in contesti biomedici a basse risorse.

Per dare un'idea di ciò che già esiste in circolazione: (1) BioBERT è una versione di BERT che è stata riformata su abstract e articoli a testo completo di PubMed, quindi è più adatta per contenuti^{biomedici 10}. (2) ClinicalBERT è una variante BERT addestrata su EHR, quindi è appositamente adattato per dare senso alle note cliniche e ai referti^{medici 11}. (3) BlueBERT è un altro modello biomedico NLP, addestrato sia su dataset PubMed che MIMIC-III, ed è ottimizzato per riconoscere elementi medici nel^{testo 12}. (4) PubMedBERT è un modello transformer addestrato solo su dati PubMed, il che gli aiuta a cogliere davvero quei modelli e la terminologia unici presenti nella scrittura^{biomedica 13}.

Sebbene questi modelli raggiungano prestazioni all'avanguardia nei benchmark BioNER, la loro dipendenza da grandi dataset etichettati e da un fine-tuning supervisionato limita la loro adattabilità a nuovi domini^{biomedici 14}. Inoltre, i cambiamenti di dominio tra la letteratura biomedica scientifica (ad esempio, abstract di PubMed) e le note cliniche (ad esempio, dataset i2b2 2010) degradano ulteriormente le prestazioni dei sistemi BioNER^{supervisionati 15}.

Le principali limitazioni della ricerca attuale su BioNER includono: Dipendenza dai dati annotati: I modelli esistenti basati su transformer richiedono ampi dataset etichettati, scarsi nei domini biomedici^{specializzati 16}. Mancanza di generalizzazione a entità invisibili: I modelli attuali faticano a riconoscere termini biomedici rari o nuovi non presenti nei dati di^{addestramento 17}. Esplorazione limitata dell'apprendimento a pochi e zero-shot: La maggior parte della ricerca si concentra sull'apprendimento completamente supervisionato, con minima indagine sui paradigmi a basso contenuto di dati per BioNER¹⁸. Adattamento inefficiente degli LLM: Sebbene gli LLM come GPT-4 e LLaMA mostrino forti prestazioni zero-shot nel NLP generale, la loro applicazione alla NER biomedica rimane poco esplorata a causa della complessità terminologica e della mancanza di prompt specifici per dominio¹⁹.

Per colmare queste lacune, questo studio esplora le seguenti domande chiave di ricerca: Come può l'apprendimento con poche colpi migliorare le prestazioni di BioBERT nella NER biomedica con dati etichettati minimi? L'inferenza zero-shot usando gli LLM può riconoscere accuratamente entità biomediche senza una fine tuning specifica per dominio? Come può l'apprendimento basato su prompt migliorare le prestazioni zero-shot nei compiti biomedici NER? Qual è l'approccio ibrido ottimale che combina BioBERT e pseudo-etichette generate da LLM per migliorare BioNER in contesti a basse risorse? In che modo l'addestramento avversario influisce sulla robustezza dei modelli BioNER a pochi e a zero colpi?

Lo scopo di questa ricerca è sviluppare un nuovo framework biomedico adattivo per NER che sfrutti l'apprendimento a poche e a zero colpi per affrontare le sfide poste dalla scarsità di dati etichettati. Lo studio mira a potenziare le capacità di generalizzazione di BioBERT e LLM esplorando tecniche di ingegneria prompt, apprendimento contrastivo e addestramento avversario.

La ricerca è strutturata attorno ai seguenti obiettivi: (1) Sviluppare una pipeline di apprendimento a pochi colpi per la NER biomedica tramite il fine-tuning di BioBERT su dati annotati limitati. (2) Valutazione degli LLM zero-shot (ad esempio, GPT-4, LLaMA, Falcon) per il NER biomedico utilizzando l'ingegneria dei prompt specifica per dominio. (3) Creare un approccio ibrido che integri il fine-tuning BioBERT con pseudo-etichette generate da LLM per migliorare il riconoscimento delle entità in dataset biomedici a basse risorse. (4) Condurre un'analisi comparativa tra poche colpi e squadre apprendimento zero-shot utilizzando benchmark biomedici standard (MedMentions, BC5CDR, i2b2 2010, PharmaCoNER, BioASQ). (5) Implementazione di addestramento avversario (FGSM, PGD) per aumentare la robustezza del modello contro variazioni rumorose di testo biomedico.

Questo studio contribuisce al campo della NLP biomedica e del riconoscimento di entità introducendo strategie BioNER a pochi e zero-shot per affrontare la scarsità di etichette nei dataset biomedici e dimostrando come gli LLM possano essere sfruttati per il NER biomedico zero-shot tramite ottimizzazione dell'ingegneria dei prompt. Propone un framework ibrido che combina la fine-tuning BioBERT e annotazioni sintetiche generate da LLM per una migliore generalizzazione. Valutazione dell'impatto dell'addestramento avversario sui modelli BioNER per migliorare la robustezza contro i cambiamenti di dominio. Fornisce un benchmark comparativo delle prestazioni di BioNER tra i paradigmi supervisionato, poche e zero-shot.

Panoramica della letteratura
Sivarajkumar e^{Wang 20} hanno sviluppato HealthPrompt, un framework Zero-Shot Learning (ZSL) per la NLP clinica che affronta la mancanza di dataset clinici annotati. Invece di affinare un modello linguistico pre-addestrato (PLM), hanno utilizzato l'apprendimento basato su prompt, dove le definizioni dei compiti vengono regolate tramite template strutturati. La loro valutazione di sei PLM, tra cui BioBERT e ClinicalBERT, sul dataset MIMIC-III ha mostrato che ClinicalBERT ha ottenuto la migliore accuratezza (85%) e il punteggio F1 (86%) per la classificazione del testo clinico. Questo studio dimostra che l'apprendimento zero-shot basato su prompt (ZSL) può tenere il passo con i modelli supervisionati nell'elaborazione clinica del linguaggio naturale (NLP), senza richiedere dati di addestramento.

Keming Lu e il team²¹ hanno sviluppato BIODLM, un nuovo approccio per affinare i modelli di linguaggio discriminativo (DLM) per il dominio biomedico tramite preaddestramento continuo basato su prompt. Il loro obiettivo principale era migliorare le prestazioni sia nei compiti a pochi colpi che a zero colpi in biomedicina sfruttando un ingegnoso prompt tuning e il metodo di rilevamento dei token sostituiti (RTD). Per farlo funzionare, sperimentano con il vocabolario, mescolando deliberatamente termini specifici per il dominio e usano PubMedBERT come generatore durante il pre-training. I risultati sono solidi: BIODLM ha effettivamente superato il consueto fine-tuning basato su CLS, ottenendo una precisione macro-media del 50,2% con supervisione completa e del 43,4% in modalità zero-shot.

Zonghai Yao e^{colleghi 22} hanno adottato un approccio diverso, concentrandosi sulla generazione di prompt che tenga conto della variazione contestuale. Il loro obiettivo era ridurre i bias strani che possono emergere durante il sondaggio basato su prompt e rendere la valutazione BioLAMA più trasparente e interpretabile. In altre parole, cercano di assicurarsi che questi modelli linguistici ci diano risposte sensate e non si limitino a cogliere prompt ben formulati.

Hanno introdotto una metrica di valutazione basata sul cambiamento di rango (UCM: Understand–Confuse–Misunderstanding) al posto della tradizionale accuratezza Top-k per valutare i PLM sul riconoscimento di entità biomediche. Esperimenti su 12 PLM, inclusi modelli basati su BioBERT, ClinicalBERT e RoBERTa, hanno mostrato prestazioni migliorate di BioLAMA per relazioni big-N-M e entità biomediche rare. BioBERT ha raggiunto un Accuracy@1 del 40,7% e la comprensibilità UCM del 32,8%, superando le metriche tradizionali Top-k.

Yeh et ^al.23 hanno indagato la stimolazione per l'estrazione di relazioni biomediche utilizzando il dataset ChemProt per migliorare la fine-tuning di pochi shot e dati completi specifici per domini. Hanno progettato modelli basati su prompt che incorporano metriche di punteggio come frequenza, specificità e somiglianza per ottimizzare la selezione delle parole delle etichette. Utilizzando la base BioMed-RoBERTa, il loro metodo ha raggiunto un punteggio F1 di 90,09, superando SciFive-Large di 1,14 F1 e superando la regolare messa a punto fina di 14,21 F1. Questo conferma che l'apprendimento basato su prompt migliora le prestazioni del NER biomedico con meno esempi di formazione.

Susanti e Holsmoelle ²⁴ hanno studiato la verifica basata su NLP di grafi causali, confrontando modelli linguistici fine-tuned e LLM basati su prompt. Hanno addestrato modelli BioBERT e GPT per la classificazione supervisionata delle relazioni causali e valutato LLM basati su prompt zero-shot e few-shot. I risultati su dataset biomedici e open-domain hanno rivelato che i modelli fine-tuned hanno superato i prompt LLM, raggiungendo punteggi F1 fino al 20,5% più alti. Lo studio evidenzia la necessità di prompting avanzati e di accordi specifici per dataset per migliorare l'accuratezza dell'estrazione delle relazioni causali.

Chen et ^al.25 hanno proposto un framework di generazione di istanze guidato dalla conoscenza e un apprendimento contrastivo prompt-per il BioNER a pochi colpi. Il loro approccio sfrutta i grafi di conoscenza del dominio per generare entità biomediche diverse e impiega un apprendimento contrastivo basato su domanda e prompt per migliorare il riconoscimento delle entità misurando l'informazione reciproca tra coppie interrogazione-risposta. Valutato su dataset fbenchmark (NCBI, BC5CDR-Disease, BioNLP11EPI, BioNLP13GE), il loro modello ha raggiunto un miglioramento del punteggio F1 fino al 7,1% rispetto ai modelli all'avanguardia in scenari da 20 dosi. Il loro codice è pubblicamente disponibile su: https://github.com/cpmss521/KGPC.

Chen et ^al.26hanno inoltre proposto un approccio di apprendimento prompt per il rilevamento delle affermazioni biomediche trasformando la classificazione del testo in un compito di modellazione linguistica mascherata (MLM). Utilizzando BERT, RoBERTa e T5 con template rigidi e misti, hanno migliorato l'accuratezza delle previsioni delle rivendicazioni. Nel dataset BioClaim, il loro modello T5 con template misti ha raggiunto un miglioramento del punteggio F1 del 5,3% rispetto ai modelli precedenti, affrontando il divario tra preaddestramento e fine-tuning nei PLM usando la previsione dei token mascherati.

Ryan Shea Ying Cong Tan et ^al.27 hanno valutato LLM per l'inferenza della risposta alle malattie tumorali da rapporti radiologici utilizzando modelli a transformer, Bi-LSTM, CNN e ML classico. Il loro metodo includeva l'aumento dei dati (permutazione di frasi e perdita di coerenza) e la fine tuning basata su prompt. Il trasformatore GatorTron ha raggiunto la massima precisione: 0,8916 sul set di test e 0,8976 dopo l'augmentazione. La messa a punto basata su prompt ha permesso prestazioni efficaci con appena 500 report etichettati.

Hu et ^al.28 hanno valutato GPT-3.5 e GPT-4 per la NER clinica, migliorando le prestazioni tramite un quadro di prompting in quattro parti: prompt di baseline, prompt basati su linee guida, istruzioni basate su errori e poche foto. Nei dataset MTSamples e VAERS, GPT-3.5 e GPT-4 hanno migliorato i loro punteggi F1 rilassati da 0,634/0,804 e 0,301/0,593 a 0,794/0,861 e 0,676/0,736, rispettivamente. Sebbene ancora indietro rispetto a BioClinicalBERT (F1: 0,901 su MTSamples, 0,802 su VAERS), questi risultati mostrano la crescente efficacia degli LLM nella NER clinica con strategie di stimolazione adeguate.

Protocollo

1. Procedura

1. Preprocessing dei dati e fine-tuning del modello
   I dati sono stati pre-elaborati da PubMed, BioASQ, MedQA e MMLU utilizzando normalizzazione del testo, tokenizzazione (WordPiece/BPE), rimozione stopword e annotazione IOB. Ha effettuato una fine-tuning specifica per dominio di BioBERT utilizzando Masked Language Modeling (MLM) e una testa di classificazione dei token. Rispetto ai metodi basati su adattatori come LoRA.
2. Implementazione dell'apprendimento Few-Shot e Zero-Shot BASATO sul PROMPT
   Per l'apprendimento a zero-shot: Uso di LLM (GPT-4, GPT-3.5, T5) con prompt di linguaggio naturale (ad esempio, "Estrae entità biomediche dal seguente testo: [Frase di input]. Le entità da identificare sono malattie, farmaci, geni e sostanze chimiche. Elenca ogni entità e il suo tipo.") e accordatura delle istruzioni. Utilizzato 5–20 esempi etichettati per tipo di entità con Pattern-Exploiting Training (PET) e Prefix-Tuning.
3. Integrazione degli LLM e creazione di un framework ibrido
   Sono state eseguite fusioni di embeddings contestuali e previsione multistadio del NER (rilevamento BioBERT + raffinamento GPT-4). Questo framework utilizzava un approccio di fine tuning sequenziale a due stadi (non end-to-end) per gestire la complessità computazionale. Innanzitutto, BioBERT è stato perfezionato sui pochi dati disponibili sul poche colpi. In secondo luogo, questo modello BioBERT congelato è stato integrato con il componente LLM tramite lo strato di fusione, che è stato addestrato sugli stessi dati. Pertanto, fu incorporato utilizzando una strategia di messa a punto fine a due stadi:
   Fase 1 – Supervisione di ottimizzazione di BioBERT per NER.
   Fase 2 – Adattamento basato su prompt tramite output GPT-4.
   
   dove α è un coefficiente appreso, e Wp è la matrice di proiezione.
   Un voto d'ensemble ponderato (W_BioBERT=0,45, W_GPT4=0,35,_{W ClinicalBERT=}0,20) è stato applicato per unire le previsioni.
   I pesi per ogni modello (W_BioBERT=0,45, W_Hybrid=0,35, W_ClinicalBERT=0,20) sono stati ottimizzati su un set di validazione tenuto utilizzando una ricerca a griglia per massimizzare il micro punteggio F1. Questo schema di pesatura riflette i contributi relativi di ciascun modello: il BioBERT fine-tuned fornisce il segnale più forte specifico per dominio, il modello ibrido aggiunge generalizzazione e ClinicalBERT offre un contesto clinico complementare.
4. Applicazione del perfezionamento e del collegamento ontologico
   GPT-4 è stato utilizzato per il raffinamento guidato da ontologie, accettando correzioni quando la somiglianza coseno con gli embeddings ontologici era ≥ 0,8 (solo le correzioni con > 0,8 sono già menzionate). Le entità erano collegate a database UMLS, MeSH e HPO per la risoluzione dei sinonimi.
5. Distribuzione del sistema con inferenza ottimizzata
   La soglia di confidenza adattiva è stata implementata per classe di entità: T_C = μ_C + βσ_C (β=0,5).
   Un componente chiave della pipeline di inferenza è la soglia di fiducia adattativa, che bilancia dinamicamente precisione e richiamo tra i tipi di entità. Invece di utilizzare una soglia statica, il meccanismo adattivo calcolava una soglia TC specifica per classe basata sulla distribuzione empirica di fiducia delle previsioni:
   
   dove μ_C e σ_C rappresentano la media e la deviazione standard dei punteggi di confidenza per la classe di entità C, e β è un fattore di scala regolabile (empiricamente impostato a 0,5). I tipi di entità biomediche poco frequenti (ad esempio, malattie rare) tendono a mostrare un'elevata varianza nei punteggi di confidenza. La soglia adattiva garantiva che questi venissero mantenuti quando σC è grande, prevenendo così il sovrafiltraggio di entità rare. Al contrario, per entità frequenti, la soglia viene stretta per ridurre i falsi positivi.
   Il sistema è stato implementato utilizzando un'interfaccia basata su Flask con elaborazione Multi-GPU (PyTorch DDP) e quantizzazione a 8 bit per l'inferenza in tempo reale.

2. Ambientazione

1. Dataset
   Il quadro è stato testato sui dataset standard biomedici NER per effettuare un confronto equo. Sono stati utilizzati i seguenti dataset, con le loro suddivisioni ufficiali conservate.
   BC5CDR: Per il riconoscimento di entità chimiche e malattiche.
   Malattia NCBI: Focalizzata sulle menzioni di malattie.
   i2b2 2010: Per il riconoscimento dei concetti clinici nelle cartelle cliniche elettroniche (EHR).
2. Valutazione
   Per garantire la robustezza statistica, abbiamo effettuato 5 esecuzioni indipendenti per ogni esperimento a pochi colpi (K=5,10,15) con diversi semi casuali per il campionamento dei dati e l'inizializzazione del peso. Precisione, Precisione, Richiamo e punteggio F1 sono stati riportati in queste corse. Risultati zero-shot, essendo deterministici, sono stati riportati da una singola corsa.
   Per valutare la fattibilità di implementare il sistema NER biomedico Few-Shot e Zero-Shot proposti in ambienti biomedici in tempo reale, è stata condotta un'analisi dettagliata dell'efficienza computazionale e della profilazione delle risorse. La profilazione è stata effettuata su una GPU NVIDIA A100 (40 GB di VRAM) con CUDA 12.1 e PyTorch 2.3.1, utilizzando inferenza a precisione mista (FP16) per bilanciare velocità ed efficienza di memoria.
3. Modelli di base
   BioBERT (Fine-tatud): Il modello base¹⁰di BioBERT-v1.1 è stato completamente supervisionato su tutti i dati di addestramento di ciascun benchmark.
   ClinicalBERT & RoBERTa-base: Fine-tunati come basi specifiche per dominio e generale.
   GPT-3.5 & GPT-4 (Zero-Shot): Testati come descritto nel passo 3.3, senza ottimizzazione specifica per compito.
   HealthPrompt²⁰: L'attuale modello clinico zero-shot basato su prompt all'avanguardia.
   Per garantire una completa riproducibilità, le librerie software principali, i checkpoint dei modelli e i dettagli hardware utilizzati in questo studio sono elencati nella Tabella dei Materiali. Questo include versioni specifiche di componenti chiave, come la variante del modello BioBERT, LLM, framework di deep learning e ambiente computazionale.

Risultati

La valutazione del modello di Riconoscimento Biomedico delle Entità Nominate (NER) Few-Shot e Zero-Shot è stata condotta su un dataset biomedico diversificato derivato da abstract di PubMed, note cliniche e corpi di domande e risposte biomediche. È stata effettuata un'analisi comparativa delle prestazioni con modelli consolidati, tra cui BioBERT, ClinicalBERT, RoBERTa,^{PhenoBERT 29}, GPT-3.5 e GPT-4. Il modello proposto ha raggiunto una precisione complessiva superi...

Discussione

Risultati contrastanti, risultati inaspettati e discrepanze con altre ricerche
Nonostante la migliore performance del modello proposto, sono emersi alcuni risultati contrastanti rispetto agli studi esistenti. I modelli basati su BioBERT hanno tradizionalmente dimostrato forti prestazioni nel Riconoscimento delle Entità Nominate (NER) biomedico, come riportato in precedenti indagini e studi comparativi sui sistemi biomedici NER ^4,10

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Modello Core	BioBERT-base (v1.1)	Faccia abbracciante:  monologg/biobert-v1.1
Quadro di Deep Learning	PyTorch 2.3.1	https://pytorch.org/
GPU Hardware	NVIDIA A100 (40GB VRAM)	NVIDIA
Modello di Linguaggio di Grande Dimensione (LLM)	GPT-4	OpenAI API
Sistema operativo	finestre	Microsoft
Accordatura a parametro efficiente	LoRA (tramite libreria PEFT 0.6.2)	https://github.com/huggingface/peft
Linguaggio di programmazione	Python 3.9.18	Python Software Foundation
LLM a zero colpi di base	GPT-3.5-Turbo	OpenAI API