Aumento di modelli linguistici di grandi dimensioni tramite incorporamenti vettoriali per migliorare la reattività specifica del dominio

Summary

In questo protocollo, la qualità della risposta del modello linguistico di base di grandi dimensioni viene migliorata tramite l'aumento con articoli scientifici specifici del dominio sottoposti a revisione paritaria attraverso un meccanismo di incorporamento vettoriale. Inoltre, viene fornito codice per facilitare il confronto delle prestazioni tra modelli linguistici di grandi dimensioni.

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono emersi come una risorsa popolare per la generazione di informazioni rilevanti per una query utente. Tali modelli vengono creati attraverso un processo di formazione ad alta intensità di risorse che utilizza un ampio corpus statico di dati testuali. Questa natura statica comporta limitazioni per l'adozione in domini con conoscenze, informazioni proprietarie e dati sensibili in rapida evoluzione. In questo lavoro, vengono delineati i metodi per aumentare gli LLM generici, noti come modelli di fondazione, con informazioni specifiche del dominio utilizzando un approccio basato sull'incorporamento di manoscritti scientifici aggiornati e sottoposti a revisione paritaria. Ciò si ottiene attraverso strumenti open source come Llama-Index e modelli disponibili pubblicamente come Llama-2 per massimizzare la trasparenza, la privacy e il controllo degli utenti e la replicabilità. Sebbene i manoscritti scientifici siano utilizzati come caso d'uso di esempio, questo approccio può essere esteso a qualsiasi fonte di dati testuali. Inoltre, vengono discussi i metodi per valutare le prestazioni del modello in seguito a questo miglioramento. Questi metodi consentono il rapido sviluppo di sistemi LLM per domini altamente specializzati, indipendentemente dalla completezza delle informazioni nel corpus di formazione.

Introduction

I modelli linguistici di grandi dimensioni (LLM) come ChatGPT di OpenAI o Llama di Meta AI sono diventati rapidamente una risorsa popolare per la generazione di testo pertinente a un prompt dell'utente. Originariamente funzionanti per prevedere gli elementi lessicali successivi in una sequenza, questi modelli si sono evoluti per comprendere il contesto, codificare le informazioni cliniche e dimostrare prestazioni elevate in una varietà di compiti 1,2,3,4. Sebbene i modelli linguistici precedono di decenni tali funzionalità e il loro attuale livello di^popolarità5, i recenti progressi nelle capacità di deep learning e calcolo hanno reso gli LLM commerciali pre-addestrati e di alta qualità ampiamente disponibili per gli utenti tramite tecnologie basate sul Web e interfacce di programmi applicativi (API)⁶. Tuttavia, ci sono diverse limitazioni notevoli all'utilizzo di LLM in questo formato.

Sfida 1: corpus di allenamento statico
Gli LLM sono addestrati su un enorme (ad esempio, due trilioni di token nel caso di Llama 2⁷) ma statico di dati di testo. Ciò pone una sfida per la produzione di risposte accurate relative a campi in rapido sviluppo o in continua evoluzione della letteratura. In questo approccio statico, gli LLM richiederebbero frequenti riqualificazioni per stare al passo con i dati più recenti, il che non è né pratico né scalabile. Inoltre, i prompt che richiedono risposte basate su informazioni non presenti nei dati di addestramento possono impedire la generazione di testo utile o portare ad allucinazioni⁸. I casi di allucinazioni o di fabbricazione di fatti sollevano preoccupazioni significative sull'affidabilità degli LLM, in particolare in contesti in cui l'accuratezza delle informazioni^{è fondamentale.}

Sfida 2: Mancanza di specificità del dominio
I modelli con training preliminare vengono spesso creati per l'uso generale, mentre gli utenti possono richiedere un modello ottimizzato in modo specifico per le prestazioni in un determinato dominio. Inoltre, le risorse computazionali e i dati necessari per l'addestramento de novo di un modello o per l'esecuzione di una messa a punto significativa sono proibitivi per molti utenti.

Sfida 3: Mancanza di privacy
Gli utenti che perseguono applicazioni che coinvolgono dati sensibili o informazioni proprietarie potrebbero non essere disposti o non essere in grado di utilizzare determinati servizi LLM poiché non dispongono di informazioni su come i dati possono essere archiviati o utilizzati.

Sfida 4: Mancanza di stabilità garantita
I servizi con LLM proprietari possono modificare i modelli disponibili o alterare il comportamento in qualsiasi momento, rendendo la stabilità un problema per l'implementazione di applicazioni che si basano su questi servizi.

La generazione aumentata dal recupero (RAG) è una tecnica sviluppata per migliorare le prestazioni dell'LLM, in particolare su query relative a informazioni al di fuori del corpus di addestramento ^10,11 del modello. Questi sistemi aumentano gli LLM incorporando informazioni contestuali da considerare quando si genera una risposta a una query dell'utente. Vari lavori recenti hanno descritto le applicazioni dei sistemi RAG e i loro potenziali vantaggi 12,13,14.

L'obiettivo del metodo delineato in questo lavoro è dimostrare la costruzione di un tale sistema e fornire un quadro di riferimento per i ricercatori per sperimentare rapidamente su LLM aumentati specifici del dominio. Questo metodo è applicabile agli utenti che desiderano integrare un LLM con un'origine dati esterna basata su testo. In particolare, uno degli obiettivi generali di questo protocollo è quello di fornire un codice passo-passo che sia estendibile a una varietà di esperimenti pratici LLM e RAG senza la necessità di una significativa competenza tecnica nel dominio della modellazione del linguaggio, sebbene sia necessaria una conoscenza pratica di Python per applicare questo approccio senza modifiche. Per massimizzare il controllo dell'utente, la trasparenza, la portabilità e l'accessibilità delle soluzioni, vengono utilizzati strumenti open source disponibili pubblicamente. Il sistema proposto affronta le questioni precedentemente indicate nei seguenti modi:

Soluzioni 1 e 2: corpus di addestramento statico e mancanza di specificità del dominio
La metodologia fornita sfrutta un approccio RAG, utilizzando gli embedding per fornire informazioni specifiche del dominio non incluse nei dati di addestramento originali. A livello generale, l'incorporamento di modelli trasforma il testo o altri dati in una rappresentazione come un vettore o una matrice di numeri a dimensione singola. Questa tecnica è vantaggiosa in quanto converte le informazioni semantiche contenute nel testo in una forma densa e numerica. Proiettando una query utente nello stesso spazio di incorporamento, è possibile utilizzare vari algoritmi per calcolare la distanza¹⁵ e, quindi, la somiglianza semantica approssimativa, tra la query utente e le sezioni dei documenti di testo. Pertanto, la creazione di un database di tali vettori da documenti suddivisi in sezioni discrete può facilitare la ricerca su un numero significativo di documenti per il testo più rilevante per una query utente (Figura 1). Questo approccio è estendibile a qualsiasi documento di testo. Mentre altri approcci, come le funzionalità di ricerca online, stanno iniziando ad essere implementati per aumentare gli LLM, questo approccio consente agli utenti di scegliere fonti considerate di qualità sufficientemente elevata per il loro caso d'uso.

Soluzione 2: mancanza di privacy
In questa implementazione, è stato utilizzato un ambiente cloud sicuro per l'hosting, senza richieste dell'utente, risposte generate o altri dati che lasciano questo ecosistema. Tutto il codice è scritto in modo indipendente dalla piattaforma, tuttavia, per garantire che un altro provider cloud o hardware locale possa essere sostituito.

Soluzione 3: mancanza di stabilità garantita
Questo approccio utilizza librerie open source e si concentra sull'aumento degli LLM con pesi disponibili pubblicamente, consentendo un grado più elevato di trasparenza, stabilità e controllo delle versioni, se necessario.

Uno schema completo del sistema proposto è mostrato nella Figura 2 e le istruzioni dettagliate sulla replica di questo o di un sistema simile sono descritte nella sezione del protocollo. Un'ulteriore considerazione quando si modifica il comportamento del modello attraverso la messa a punto o l'aumento è la valutazione delle prestazioni. Nei modelli di generazione del linguaggio, questo rappresenta una sfida unica poiché molte metriche tradizionali di machine learning non sono applicabili. Sebbene esistano una varietà di tecniche¹⁶, in questo studio sono state utilizzate domande a scelta multipla (MCQ) scritte da esperti per valutare l'accuratezza e confrontare le prestazioni pre e post aumento, nonché rispetto ai popolari LLM alternativi.

Protocol

Nel caso d'uso dimostrato in questo articolo, l'archivio vettoriale è stato generato utilizzando le linee guida pubblicate dal Chicago Consensus Working Group¹⁷. Questo gruppo di esperti è stato istituito per sviluppare linee guida per la gestione dei tumori peritoneali. L'area tematica è stata scelta in quanto rientra nell'area di competenza clinica degli investigatori. La serie di articoli è stata consultata da archivi di riviste online tra cui Cancer e Annals of Surgical Oncology. Un modello di embedding compatto (33,4 milioni di parametri) creato dalla Beijing Academy for Artificial Intelligence (BAAI, https://www.baai.ac.cn/english.html), bge-small-en, è stato utilizzato per generare embedding da documenti di origine. Il database risultante è stato quindi utilizzato per aumentare i modelli di base Llama 2 e Open-AI⁷. Per comodità del lettore, il codice viene reso disponibile tramite GitHub (https://github.com/AnaiLab/AugmentedLLM). Per garantire la replicabilità, si consiglia di utilizzare le stesse versioni delle librerie utilizzate nell'elenco dei requisiti fornito, nonché la stessa versione di Python. Ulteriori dettagli sull'installazione o sulla documentazione relativa agli strumenti utilizzati nei seguenti metodi sono disponibili sui siti Web ufficiali dei fornitori per Python (https://www.python.org), git (https://git-scm.com), Llama-Index (https://llamaindex.ai) e Chroma (https://trychroma.com).

1. Prerequisiti: esaminare il codice e installare le librerie necessarie

1. Verificare che git, python e pip siano installati.
   1. In un terminale, esegui i seguenti comandi per verificare l'installazione:
      git --versione
      python3 --version
      pip3 --versione
2. Controllare il codice e i requisiti di installazione.
   1. In un terminale, esegui i seguenti comandi:
      Git clone https://github.com/AnaiLab/AugmentedLLM.git
      cd ./LLM AUMENTATO/
      pip3 install -r requirements.txt

2. Creazione di un database vettoriale con Llama-Index

1. Converti i formati di file RTF (richiesto solo se i file sono in formato RTF).
   1. Modificare il file denominato config.py, sostituendo i percorsi dei file nel codice seguente con il percorso degli articoli RTF da convertire e il percorso in cui devono essere scritti i file di testo normale digitando i comandi seguenti. Salva il file.
      rtf_file_dir = './articles_rtf/'
      converted_file_dir = './articles_converted/'
   2. In un terminale, nella stessa directory, eseguire il codice per generare versioni di testo normale dei file RTF eseguendo il seguente comando:
      python3 ./convert_rtf.py
2. Crea e salva il database vettoriale.
   1. Modificare il file config.py, sostituendo il valore della variabile seguente con il percorso del file della cartella contenente i documenti con cui si vuole aumentare l'LLM; Salvare il file.
      article_dir = './articoli/'
   2. In un terminale, nella stessa directory, eseguire il codice con il seguente comando per creare e rendere persistente il database. Verificare che il database sia ora salvato nella cartella vector_db.
      python3 ./build_index.py

3. Aumento di un modello di lama con database vettoriale generato nella sezione 2

1. Creare un'istanza di LLM personalizzato in locale (facoltativo)
   NOTA: L'esecuzione di questo passaggio è necessaria solo se si desidera utilizzare un modello diverso dal Llama-2-7B predefinito. Se si desidera utilizzare il modello predefinito, procedere al passaggio 3.2.
   1. (Utilizzando un LLM personalizzato) Specificare un LLM da aumentare modificando run_augmented_llm.py e passando un oggetto LLM llama-index nel costruttore come parametro llm nelle righe di codice successive anziché Nessuno.
      augmentedLLM = AugmentedLLM(vector_store, llm=Nessuno)
2. Interrogazione LLM aumentata
   1. Esegui il seguente comando nel terminale:
      python3 ./run_augmented_llm.py
   2. Esegui query utente per ottenere una risposta aumentata dai dati nel set di manoscritti (Figura 3 e Figura 4). Al termine, premere CTRL + C per uscire.

4. Confronto programmatico di LLM alternativi

1. Creare MCQ.
   1. Modifica il file questions.py, prendendo nota del formato degli esempi. Aggiungi domande seguendo un formato simile. Salva il file.
2. Connettiti a GPT-3.5, GPT-4, OpenChat o altri modelli di comparatori tramite API.
   1. Modifica il file config.py, aggiungendo la chiave API per OpenAI o Huggingface se l'obiettivo è confrontare i modelli di entrambi i fornitori. Salva il file.
      huggingface_key = ''
      openai_key = ''
   2. Modifica il file compare_llms.py e scegli l'insieme di modelli con cui eseguire il test rimuovendo il commento (eliminando i caratteri '# ' all'inizio di quella riga) i modelli con cui confrontare.
      NOTA: alcuni comparatori richiedono una chiave API come impostato nel passaggio 4.2.1. Inoltre, modificare il parametro output_dir per cambiare la posizione in cui viene memorizzato l'output LLM, se lo si desidera; In caso contrario, verrà utilizzato un valore predefinito.
      output_dir = './llm_responses/'
   3. In un terminale, esegui il codice con il seguente comando. Dopo l'esecuzione, visualizzare le risposte del modello nella cartella specificata nel passaggio 4.2.2 per la valutazione o un'altra revisione.
      python3 ./compare_llms.py
3. (Facoltativo) Sperimenta la classificazione automatica delle risposte a scelta multipla. Il codice di esempio utilizza la libreria LMQL per vincolare l'output LLM in un formato previsto.
   1. Aprire il file automated_comparison.py e, analogamente al passaggio 4.2.2, rimuovere il commento dai modelli da includere, modificare la variabile output_dir o personalizzare in altro modo. Si noti che l'output del modello verrà comunque salvato in modo simile. Salva il file.
   2. Eseguire il codice del passaggio 4.3.1 eseguendo il comando seguente in un terminale:
      python3 ./automated_comparison.py

Results

Una serie di 22 pubblicazioni del Chicago Consensus Working Group sono state utilizzate per aumentare il modello base del Llama-7b¹⁷. I documenti sono stati convertiti in un indice vettoriale utilizzando lo strumento Llama-Index per generare Llama-2-7b-CCWG-Embed. Anche i modelli OpenAI più diffusi, come GPT-3.5 e GPT-4, sono stati aumentati in modo simile per produrre modelli GPT-XX-CCWG-Embed. Sono state sviluppate un totale di 20 domande a scelta multipla (MCQ) per valutare le conoscenze relative alla gestione di una varietà di neoplasie della superficie peritoneale. Gli MCQ sono stati creati da un oncologo chirurgico certificato per testare il livello di conoscenza che ci si aspetta da un borsista di oncologia chirurgica. Llama-2-7b-CCWG-Embed ha ottenuto risultati significativamente migliori rispetto al modello base (vedi Tabella 1), così come i modelli OpenAI aumentati. Questo è considerato un risultato positivo per questo metodo in quanto le prestazioni del modello sono state migliorate con l'aumento rispetto al basale.

Figura 1: Schema di generazione di un database vettoriale da articoli accademici. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 2: Diagramma generale del sistema per l'LLM aumentato. Fare clic qui per visualizzare una versione più grande di questa figura.

Figura 3: Modello Llama-2 aumentato in esecuzione nel terminale Linux. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 4: Risultato della query dal modello Llama-2 aumentato. Fare clic qui per visualizzare una versione più grande di questa figura.

LLM	Punteggio (% corretto)
Llama-2-7b-chat-hf	65%
Llama-2-7B-CCWG-Incorporato	75%
Openchat-3.5-010618	65%
Mistral-7B-v0.119	70%
GPT-3.5	75%
GPT-3.5-CCWG-Incorporamento	85%
GPT-4	85%
GPT-4-CCWG-Incorporamento	90%

Tabella 1: Punteggi (percentuale corretta) di vari LLM su una serie di 20 domande relative alla gestione della malignità peritoneale.

Discussion

I metodi qui forniti mirano a facilitare la ricerca di applicazioni specifiche di dominio degli LLM senza la necessità di una formazione de novo o di un'ampia messa a punto. Poiché gli LLM stanno diventando un'area di significativo interesse per la ricerca, gli approcci per aumentare le basi di conoscenza e migliorare l'accuratezza delle risposte diventeranno sempre più importanti 18,19,20,21. Come dimostrato nei risultati forniti, il protocollo delineato offre un miglioramento delle prestazioni su domande specifiche del dominio rispetto allo stesso LLM senza aumento e si avvicina alle prestazioni di modelli più complessi come i modelli OpenAI GPT. Poiché gli LLM possono richiedere enormi risorse computazionali per generare risposte ^22,23, l'aumento di un modello più semplice può fornire una strada per l'implementazione in casi d'uso con risorse limitate. Inoltre, il sistema RAG ha anche prodotto vantaggi nell'aumento di modelli ad alta complessità come quelli forniti da OpenAI. Sebbene i risultati presentati siano specifici per la gestione del cancro peritoneale, sono stati prodotti studi recenti su sistemi RAG con una varietà di fonti di dati sia per dominio che per scala, indicando l'ampia applicabilità di tali sistemi 21,24,25,26. Poiché la qualità delle risposte è strettamente correlata ai dati di testo utilizzati per l'aumento, tuttavia, è fondamentale che gli utenti considerino attentamente quali fonti siano ottimali per il loro particolare dominio e l'applicazione desiderata. Questa considerazione è di particolare importanza in settori come l'assistenza sanitaria, che è stata oggetto di particolare attenzione negli studi relativi agli LLM. L'uso di LLM per la diagnostica^27,28, la corrispondenza degli studi clinici^29,30 e numerose altre applicazioni sono in fase di esplorazione e richiedono risorse testuali convalidate e affidabili piuttosto che fare affidamento su corpora di formazione sconosciuti.

Le prestazioni sono state misurate in base alla percentuale corretta di MCQ scritti da un esperto in tumori peritoneali e nella loro gestione clinica. Le risposte sono state classificate come corrette o errate dalla revisione umana; tuttavia, per ridurre al minimo le attività ripetitive per i ricercatori, viene fornito un codice di base per iniziare ad avvicinarsi a un confronto più automatizzato delle prestazioni tra gli LLM.

Un vantaggio chiave di questo protocollo è il codice fornito per accedere in modo programmatico a una varietà di LLM. In precedenza, per valutare le prestazioni degli MCQ, gli utenti privi delle capacità tecniche necessarie potevano fare affidamento su test manuali ripetitivi attraverso un'interfaccia basata sul web. Il codice fornito fornisce classi di base per interfacciarsi con diversi LLM popolari insieme ad esempi di come eseguire il codice. L'obiettivo di fornire questi strumenti è quello di consentire a un maggior numero di ricercatori di passare all'automazione dei flussi di lavoro che valutano le risposte a una richiesta in una varietà di LLM, migliorando la capacità di condurre studi comparativi.

Inoltre, i metodi descritti sono progettati per enfatizzare la flessibilità e l'estensibilità. Sebbene il codice possa essere utilizzato così com'è, è scritto con l'intenzione di adattarlo ulteriormente a casi d'uso specifici, se necessario, come l'uso di diversi LLM e l'incorporamento di modelli per l'aumento o il confronto. Poiché il panorama LLM è in rapida evoluzione, questa estensibilità diventerà sempre più importante per soddisfare le diverse esigenze degli utenti in diversi domini. Inoltre, la libreria Llama-Index fornisce un numero significativo di funzionalità non utilizzate nei metodi dimostrati che possono offrire agli utenti opzioni aggiuntive durante la creazione di sistemi simili. Questi possono essere trovati nella documentazione ufficiale del Llama-Index.

I lettori dovrebbero anche considerare attentamente i metodi di valutazione ottimali per il loro caso d'uso. Sebbene gli MCQ abbiano guadagnato popolarità per i confronti LLM grazie alla loro natura facilmente quantificabile^31,32, è necessario prestare attenzione nel considerarli una metrica di prestazione completa per i sistemi generativi. La letteratura recente ha implementato una vasta gamma di valutazioni, tra cui approcci qualitativi, revisione umana, Stanford Holistic Evaluation of Language Models (HELM)³³ e metriche standard di elaborazione del linguaggio naturale come Bilingual Evaluation Understudy (BLEU), General Language Understanding Evaluation (GLUE), ROUGE, perplexity e punteggio F1 34,35,36,37,38,39.

Esistono limitazioni a questi metodi, come indicato qui. Ad esempio, mentre le interfacce sono state implementate per diversi fornitori leader di LLM, data la natura in rapida evoluzione di questo campo e la varietà dei casi d'uso, questa implementazione potrebbe non essere completa. Il codice, tuttavia, è stato progettato tenendo presente questo aspetto, come discusso in precedenza. Inoltre, mentre è stato fornito il codice di base per passare alla classificazione automatizzata, c'è spazio per l'espansione nell'utilizzo di strumenti alternativi per la valutazione delle risposte come HELM o BLEU. Inoltre, l'uso aggiuntivo di strumenti per vincolare l'output in base a grammatiche predefinite, come il Language Model Query Language Language (LMQL), può essere utilizzato per espandere questo lavoro e aumentare l'automazione degli studi LLM comparativi. Inoltre, data l'ampia varietà di potenziali casi d'uso, sono necessari ulteriori studi sull'effetto dei sistemi RAG sulle prestazioni generali fuori dal dominio per caratterizzare eventuali compromessi in termini di prestazioni. Infine, devono continuare a essere studiati ulteriori metodi per migliorare l'affidabilità e la valutazione delle risposte LLM.

Si noti che per motivi tecnici è richiesto python 3.10 o superiore. I prompt della shell sono scritti per bash, zsh o altri terminali UNIX-like. I comandi possono essere eseguiti (indicati come "esecuzione del comando" nel protocollo) semplicemente digitando il testo seguito dal tasto Invio. Per ogni passaggio del protocollo, un utente potrebbe voler esaminare il codice nel file in esecuzione per avere una comprensione più completa dei meccanismi alla base del flusso di lavoro.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
pip3 versione 22.0.2
Python versione 3.10.12