Erweiterung großer Sprachmodelle durch Vektoreinbettungen zur Verbesserung der domänenspezifischen Reaktionsfähigkeit

Summary

In diesem Protokoll wird die Antwortqualität des grundlegenden Sprachmodells durch Augmentation mit begutachteten, domänenspezifischen wissenschaftlichen Artikeln durch einen Vektor-Embedding-Mechanismus verbessert. Darüber hinaus wird Code bereitgestellt, um den Leistungsvergleich zwischen großen Sprachmodellen zu erleichtern.

Abstract

Große Sprachmodelle (LLMs) haben sich zu einer beliebten Ressource für die Generierung von Informationen entwickelt, die für eine Benutzerabfrage relevant sind. Solche Modelle werden durch einen ressourcenintensiven Trainingsprozess erstellt, bei dem ein umfangreicher, statischer Korpus von Textdaten verwendet wird. Diese statische Natur führt zu Einschränkungen bei der Einführung in Bereichen mit sich schnell änderndem Wissen, proprietären Informationen und sensiblen Daten. In dieser Arbeit werden Methoden zur Anreicherung von Allzweck-LLMs, bekannt als Foundation-Modelle, mit domänenspezifischen Informationen unter Verwendung eines Embeddings-basierten Ansatzes zur Einbeziehung aktueller, begutachteter wissenschaftlicher Manuskripte skizziert. Dies wird durch Open-Source-Tools wie Llama-Index und öffentlich zugängliche Modelle wie Llama-2 erreicht, um die Transparenz, die Privatsphäre und Kontrolle der Benutzer sowie die Replizierbarkeit zu maximieren. Während wissenschaftliche Manuskripte als Anwendungsbeispiel herangezogen werden, kann dieser Ansatz auf jede beliebige Textdatenquelle ausgeweitet werden. Darüber hinaus werden Methoden zur Bewertung der Modellleistung nach dieser Verbesserung erläutert. Diese Methoden ermöglichen die schnelle Entwicklung von LLM-Systemen für hochspezialisierte Domänen, unabhängig von der Vollständigkeit der Informationen im Trainingskorpus.

Introduction

Große Sprachmodelle (LLMs) wie ChatGPT von OpenAI oder Llama von Meta AI haben sich schnell zu einer beliebten Ressource für die Generierung von Text entwickelt, der für eine Benutzeraufforderung relevant ist. Ursprünglich dazu gedacht, die nächsten lexikalischen Elemente in einer Sequenz vorherzusagen, haben sich diese Modelle weiterentwickelt, um den Kontext zu verstehen, klinische Informationen zu kodieren und eine hohe Leistung bei einer Vielzahl von Aufgaben zu demonstrieren 1,2,3,4. Obwohl Sprachmodelle diesen Fähigkeiten und ihrer heutigen Popularität um Jahrzehnte voraus sind⁵, haben die jüngsten Fortschritte bei Deep Learning und Computing-Fähigkeiten vortrainierte, qualitativ hochwertige kommerzielle LLMs über webbasierte Technologien und Application Program Interfaces (APIs) für Benutzer auf breiter Basis verfügbar ^gemacht6. Es gibt jedoch einige bemerkenswerte Einschränkungen bei der Nutzung von LLMs in diesem Format.

Herausforderung 1: Statischer Trainingskorpus
LLMs werden mit einem enormen (z. B. zwei Billionen Token im Fall von Llama 2⁷), aber statischen Textdatenbestand trainiert. Dies stellt eine Herausforderung dar, genaue Antworten auf Bereiche zu finden, die sich in einer rasanten Entwicklung befinden oder sich in der Literatur verändern. Bei diesem statischen Ansatz müssten LLMs häufig neu trainiert werden, um mit den neuesten Daten Schritt zu halten, was weder praktisch noch skalierbar ist. Darüber hinaus können Aufforderungen, die Antworten auf der Grundlage von Informationen erfordern, die nicht in den Trainingsdaten enthalten sind, eine nützliche Textgenerierung verhindern oder zu Halluzinationen führen⁸. Fälle von Halluzinationen oder Faktenfälschungen geben Anlass zu erheblichen Bedenken hinsichtlich der Zuverlässigkeit von LLMs, insbesondere in Umgebungen, in denen die Genauigkeit der Informationen entscheidend ist⁹.

Herausforderung 2: Mangelnde Domänenspezifität
Vortrainierte Modelle werden häufig für die allgemeine Verwendung erstellt, während Benutzer möglicherweise ein Modell benötigen, das speziell für die Leistung in einer bestimmten Domäne optimiert ist. Darüber hinaus sind die Rechenressourcen und Daten, die für das De-novo-Training eines Modells oder die Durchführung einer signifikanten Feinabstimmung erforderlich sind, für viele Benutzer unerschwinglich.

Herausforderung 3: Mangelnde Privatsphäre
Benutzer, die Anwendungen mit sensiblen Daten oder proprietären Informationen verfolgen, sind möglicherweise nicht bereit oder nicht in der Lage, bestimmte LLM-Dienste zu nutzen, da ihnen Informationen darüber fehlen, wie Daten gespeichert oder verwendet werden können.

Herausforderung 4: Fehlende garantierte Stabilität
Dienste mit proprietären LLMs können jederzeit verfügbare Modelle oder das Verhalten ändern, so dass die Stabilität bei der Implementierung von Anwendungen, die auf diesen Diensten basieren, ein Problem darstellt.

Retrieval-Augmented Generation (RAG) ist eine Technik, die entwickelt wurde, um die LLM-Leistung zu verbessern, insbesondere bei Abfragen, die sich auf Informationen außerhalb des Trainingskorpus des Modells beziehen^10,11. Diese Systeme ergänzen LLMs, indem sie Kontextinformationen einbeziehen, die bei der Generierung einer Antwort auf eine Benutzeranfrage berücksichtigt werden müssen. In verschiedenen neueren Arbeiten wurden die Anwendungen von RAG-Systemen und ihre potenziellen Vorteile beschrieben 12,13,14.

Das Ziel der in dieser Arbeit skizzierten Methode ist es, den Aufbau eines solchen Systems zu demonstrieren und Forschern einen Rahmen zu bieten, um schnell mit domänenspezifischen, erweiterten LLMs zu experimentieren. Diese Methode ist für Benutzer anwendbar, die ein LLM um eine externe textbasierte Datenquelle erweitern möchten. Konkret besteht ein übergeordnetes Ziel dieses Protokolls darin, Schritt-für-Schritt-Code bereitzustellen, der auf eine Vielzahl praktischer LLM- und RAG-Experimente erweiterbar ist, ohne dass erhebliches technisches Know-how im Bereich der Sprachmodellierung erforderlich ist, obwohl praktische Kenntnisse in Python erforderlich sind, um diesen Ansatz ohne Änderungen anzuwenden. Um die Benutzerkontrolle, Transparenz, Portabilität und Erschwinglichkeit von Lösungen zu maximieren, werden öffentlich zugängliche Open-Source-Tools verwendet. Das vorgeschlagene System löst die zuvor genannten Probleme auf folgende Weise:

Lösungen 1 und 2: Statisches Trainingskorpus und mangelnde Domänenspezifität
Die bereitgestellte Methodik nutzt einen RAG-Ansatz, bei dem Einbettungen verwendet werden, um domänenspezifische Informationen bereitzustellen, die nicht in den ursprünglichen Trainingsdaten enthalten sind. Auf hoher Ebene transformieren Einbettungsmodelle Text oder andere Daten in eine Darstellung als Vektor oder eindimensionales Array von Zahlen. Diese Technik ist von Vorteil, da sie semantische Informationen, die im Text enthalten sind, in eine dichte, numerische Form umwandelt. Durch die Projektion einer Benutzerabfrage in denselben Einbettungsraum können verschiedene Algorithmen verwendet werden, um den Abstand¹⁵ und damit die annähernde semantische Ähnlichkeit zwischen der Benutzerabfrage und Abschnitten von Textdokumenten zu berechnen. Daher kann das Erstellen einer Datenbank mit solchen Vektoren aus Dokumenten, die in einzelne Abschnitte unterteilt sind, das Durchsuchen einer beträchtlichen Anzahl von Dokumenten nach Text erleichtern, der für eine Benutzerabfrage am relevantesten ist (Abbildung 1). Dieser Ansatz ist auf jedes Textdokument erweiterbar. Während andere Ansätze, wie z. B. Online-Suchfunktionen, allmählich implementiert werden, um LLMs zu erweitern, ermöglicht dieser Ansatz den Benutzern, Quellen auszuwählen, die für ihren Anwendungsfall als ausreichend hochwertig angesehen werden.

Lösung 2: Mangelnde Privatsphäre
Bei dieser Implementierung wurde eine sichere Cloud-Umgebung für das Hosting verwendet, in der keine Benutzeraufforderungen, generierten Antworten oder andere Daten dieses Ökosystem verließen. Der gesamte Code wird jedoch plattformunabhängig geschrieben, um sicherzustellen, dass ein anderer Cloud-Anbieter oder lokale Hardware ersetzt werden kann.

Lösung 3: Fehlende garantierte Stabilität
Dieser Ansatz nutzt Open-Source-Bibliotheken und konzentriert sich auf die Erweiterung von LLMs mit öffentlich zugänglichen Gewichtungen, die bei Bedarf ein höheres Maß an Transparenz, Stabilität und Versionierung ermöglichen.

Ein vollständiges Schema unseres vorgeschlagenen Systems ist in Abbildung 2 dargestellt, und detaillierte Anweisungen zur Replikation dieses oder eines ähnlichen Systems finden Sie im Abschnitt Protokoll. Eine weitere Überlegung bei der Änderung des Modellverhaltens durch Feinabstimmung oder Erweiterung ist die Bewertung der Leistung. Bei sprachgenerierenden Modellen stellt dies eine besondere Herausforderung dar, da viele traditionelle Metriken des maschinellen Lernens nicht anwendbar sind. Obwohl es eine Vielzahl von Techniken gibt¹⁶, wurden in dieser Studie von Experten geschriebene Multiple-Choice-Fragen (MCQs) verwendet, um die Genauigkeit zu bewerten und die Leistung vor und nach der Augmentation sowie mit beliebten alternativen LLMs zu vergleichen.

Protocol

In dem in diesem Artikel gezeigten Anwendungsfall wurde der Vektorspeicher unter Verwendung veröffentlichter Richtlinien der Chicago Consensus Working Group¹⁷ generiert. Diese Expertengruppe wurde gegründet, um Leitlinien für die Behandlung von Bauchfellkarzinomen zu entwickeln. Das Fachgebiet wurde so gewählt, dass es innerhalb des klinischen Fachgebiets der Prüfärzte liegt. Die Artikel wurden aus Online-Zeitschriftenrepositorien wie Cancer und den Annals of Surgical Oncology veröffentlicht. Ein kompaktes (33,4 Mio. Parameter) Einbettungsmodell, das von der Beijing Academy for Artificial Intelligence (BAAI, https://www.baai.ac.cn/english.html), bge-small-en, erstellt wurde, wurde verwendet, um Einbettungen aus Quelldokumenten zu generieren. Die resultierende Datenbank wurde dann verwendet, um die Modelle Llama 2 und Open-AI^{Foundation 7} zu erweitern. Zur Bequemlichkeit des Lesers wird der Code über GitHub (https://github.com/AnaiLab/AugmentedLLM) zur Verfügung gestellt. Um die Replizierbarkeit zu gewährleisten, wird empfohlen, die gleichen Versionen von Bibliotheken zu verwenden, die in der bereitgestellten Anforderungsliste verwendet werden, sowie die gleiche Version von Python. Weitere Details zur Installation oder Dokumentation zu Tools, die in den folgenden Methoden verwendet werden, finden Sie auf den offiziellen Websites der Anbieter für Python (https://www.python.org), git (https://git-scm.com), Llama-Index (https://llamaindex.ai) und Chroma (https://trychroma.com).

1. Voraussetzungen: Überprüfen des Codes und Installieren der erforderlichen Bibliotheken

1. Stellen Sie sicher, dass git, python und pip installiert sind.
   1. Führen Sie in einem Terminal die folgenden Befehle aus, um die Installation zu überprüfen:
      git --version
      python3 --version
      pip3 --version
2. Überprüfen Sie den Code und die Installationsanforderungen.
   1. Führen Sie in einem Terminal die folgenden Befehle aus:
      git clone https://github.com/AnaiLab/AugmentedLLM.git
      cd ./ErweitertLLM/
      pip3 install -r requirements.txt

2. Erstellung einer Vektordatenbank mit Llama-Index

1. Konvertieren Sie RTF-Dateiformate (nur erforderlich, wenn Dateien in einem RTF-Format vorliegen).
   1. Bearbeiten Sie die Datei mit dem Titel config.py, und ersetzen Sie die Dateipfade im folgenden Code durch den Speicherort der zu konvertierenden RTF-Artikel und den Speicherort, an den die Nur-Text-Dateien geschrieben werden sollen, indem Sie die folgenden Befehle eingeben. Speichern Sie die Datei.
      rtf_file_dir = './articles_rtf/'
      converted_file_dir = './articles_converted/'
   2. Führen Sie in einem Terminal im selben Verzeichnis den Code aus, um Nur-Text-Versionen von RTF-Dateien zu generieren, indem Sie den folgenden Befehl ausführen:
      python3 ./convert_rtf.py
2. Erstellen und speichern Sie die Vektordatenbank.
   1. Bearbeiten Sie die config.py Datei, indem Sie den Wert der folgenden Variablen durch den Dateipfad des Ordners ersetzen, der Dokumente enthält, mit denen das LLM erweitert werden soll. Speichern Sie die Datei.
      article_dir = './Artikel/'
   2. Führen Sie in einem Terminal im selben Verzeichnis den Code mit dem folgenden Befehl aus, um die Datenbank zu erstellen und beizubehalten. Vergewissern Sie sich, dass die Datenbank jetzt im Ordner vector_db gespeichert ist.
      python3 ./build_index.py

3. Erweiterung eines Lama-Modells mit einer in Abschnitt 2 generierten Vektordatenbank

1. Lokales Instanziieren von benutzerdefiniertem LLM (optional)
   HINWEIS: Dieser Schritt ist nur erforderlich, wenn Sie ein anderes Modell als das Standardmodell Llama-2-7B verwenden möchten. Wenn Sie das Standardmodell verwenden möchten, fahren Sie mit Schritt 3.2 fort.
   1. (Mit einem benutzerdefinierten LLM) Geben Sie ein LLM an, das erweitert werden soll, indem Sie run_augmented_llm.py bearbeiten und ein LLM-Objekt mit llama-index im Konstruktor als llm-Parameter in den folgenden Codezeilen anstelle von None übergeben.
      augmentedLLM = ErweitertLLM(vector_store, llm=Keine)
2. Abfrage von erweitertem LLM
   1. Führen Sie den folgenden Befehl im Terminal aus:
      python3 ./run_augmented_llm.py
   2. Führen Sie Benutzerabfragen aus, um eine Antwort zu erhalten, die durch Daten in den Manuskripten ergänzt wird (Abbildung 3 und Abbildung 4). Drücken Sie STRG + C , um den Vorgang zu beenden, wenn Sie fertig sind.

4. Programmatischer Vergleich alternativer LLMs

1. Erstellen Sie MCQs.
   1. Bearbeiten Sie die Datei questions.py und beachten Sie dabei das Format der Beispiele. Fügen Sie Fragen in einem ähnlichen Format hinzu. Speichern Sie die Datei.
2. Verbinden Sie sich über die API mit GPT-3.5, GPT-4, OpenChat oder anderen Vergleichsmodellen.
   1. Bearbeiten Sie die config.py Datei, und fügen Sie den API-Schlüssel für OpenAI oder Huggingface hinzu, wenn das Ziel darin besteht, ein Benchmarking mit Modellen eines der beiden Anbieter durchzuführen. Speichern Sie die Datei.
      huggingface_key = ''
      openai_key = ''
   2. Bearbeiten Sie die compare_llms.py Datei, und wählen Sie die zu testenden Modelle aus, indem Sie die Modelle auskommentieren (die Zeichen '# ' am Anfang dieser Zeile löschen), mit denen verglichen werden soll.
      HINWEIS: Einige Komparatoren benötigen einen API-Schlüssel, wie in Schritt 4.2.1 festgelegt. Bearbeiten Sie außerdem den Parameter output_dir, um bei Bedarf zu ändern, wo die LLM-Ausgabe gespeichert wird. Andernfalls wird ein Standardwert verwendet.
      output_dir = './llm_responses/'
   3. Führen Sie in einem Terminal den Code mit dem folgenden Befehl aus. Zeigen Sie nach der Ausführung die Modellantworten in dem in Schritt 4.2.2 angegebenen Ordner zur Benotung oder anderen Überprüfung an.
      python3 ./compare_llms.py
3. (Fakultativ) Experimentieren Sie mit der automatischen Benotung von MCQ-Antworten. Im Beispielcode wird die LMQL-Bibliothek verwendet, um die LLM-Ausgabe in ein erwartetes Format einzuschränken.
   1. Öffnen Sie die Datei automated_comparison.py und heben Sie ähnlich wie in Schritt 4.2.2 die Auskommentierung der einzuschließenden Modelle auf, bearbeiten Sie die output_dir Variable oder passen Sie sie anderweitig an. Beachten Sie, dass die Modellausgabe weiterhin auf ähnliche Weise gespeichert wird. Speichern Sie die Datei.
   2. Führen Sie den Code aus Schritt 4.3.1 aus, indem Sie den folgenden Befehl in einem Terminal ausführen:
      python3 ./automated_comparison.py

Results

Ein Satz von 22 Veröffentlichungen aus den Managementrichtlinien der Chicago Consensus Working Group wurde verwendet, um das Basismodell Llama-7b zu ergänzen¹⁷. Die Dokumente wurden mit dem Tool Llama-Index in einen Vektorindex umgewandelt, um Llama-2-7b-CCWG-Embed zu generieren. Beliebte OpenAI-Modelle wie GPT-3.5 und GPT-4 wurden ebenfalls auf ähnliche Weise erweitert, um GPT-XX-CCWG-Embed-Modelle zu erzeugen. Insgesamt wurden 20 Multiple-Choice-Fragen (MCQ) entwickelt, um das Wissen im Zusammenhang mit der Behandlung einer Vielzahl von malignen Erkrankungen der peritonealen Oberfläche zu bewerten. Die MCQs wurden von einem staatlich geprüften chirurgischen Onkologen erstellt, um auf dem Wissensstand zu testen, der von einem Stipendiaten für chirurgische Onkologie erwartet wird. Llama-2-7b-CCWG-Embed schnitt signifikant besser ab als das Basismodell (siehe Tabelle 1), ebenso wie erweiterte OpenAI-Modelle. Dies wird als positives Ergebnis für diese Methode angesehen, da die Modellleistung durch Augmentation im Vergleich zum Ausgangswert verbessert wurde.

Abbildung 1: Schematische Darstellung der Generierung einer Vektordatenbank aus wissenschaftlichen Arbeiten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 2: Gesamtsystemdiagramm für Augmented LLM. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 3: Erweitertes Llama-2-Modell, das im Linux-Terminal ausgeführt wird. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 4: Abfrageergebnis des erweiterten Llama-2-Modells. Klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

LLM	Punktzahl (% richtig)
Lama-2-7b-chat-hf	65%
Lama-2-7B-CCWG-Einbetten	75%
Offenchat-3.5-010618	65%
Mistral-7B-v0.119	70%
GPT-3.5	75%
GPT-3.5-CCWG-Einbetten	85%
GPT-4	85%
GPT-4-CCWG-Einbetten	90%

Tabelle 1: Punktzahlen (prozentual korrekt) verschiedener LLMs bei einem Satz von 20 Fragen zum Management von peritonealen Malignomen.

Discussion

Die hier vorgestellten Methoden zielen darauf ab, die Erforschung domänenspezifischer Anwendungen von LLMs zu erleichtern, ohne dass ein De-novo-Training oder eine umfangreiche Feinabstimmung erforderlich ist. Da LLM zu einem Bereich von erheblichem Forschungsinteresse werden, werden Ansätze zur Erweiterung der Wissensdatenbanken und zur Verbesserung der Genauigkeit der Antworten immer wichtiger 18,19,20,21. Wie die bereitgestellten Ergebnisse zeigen, bietet das skizzierte Protokoll eine Leistungsverbesserung bei domänenspezifischen Fragen im Vergleich zum gleichen LLM ohne Augmentation und nähert sich der Leistung komplexerer Modelle wie OpenAI GPT-Modelle. Da LLMs enorme Rechenressourcen erfordern können, um Antworten zu generieren^22,23, kann die Erweiterung eines einfacheren Modells einen Weg zur Implementierung in Anwendungsfällen mit begrenzten Ressourcen bieten. Darüber hinaus zeigte das RAG-System auch Vorteile bei der Erweiterung hochkomplexer Modelle, wie sie OpenAI zur Verfügung stellt. Während die vorgestellten Ergebnisse speziell für die Behandlung von Peritonealkarzinom gelten, wurden kürzlich Studien zu RAG-Systemen mit einer Vielzahl von Datenquellen erstellt, die auf eine breite Anwendbarkeit solcher Systeme hinweisen 21,24,25,26. Da die Qualität der Antworten jedoch eng mit den Textdaten zusammenhängt, die für die Erweiterung verwendet werden, ist es wichtig, dass die Benutzer sorgfältig abwägen, welche Quellen für ihren speziellen Bereich und ihre gewünschte Anwendung optimal sind. Diese Überlegung ist von besonderer Bedeutung in Bereichen wie dem Gesundheitswesen, das ein besonderer Schwerpunkt der LLM-bezogenen Studien ist. Die Verwendung von LLM für die Diagnostik^27,28, das Matching klinischer Studien^29,30 und zahlreiche andere Anwendungen werden derzeit erforscht und erfordern validierte, vertrauenswürdige Textressourcen, anstatt sich auf unbekannte Trainingskorpora zu verlassen.

Die Leistung wurde anhand des prozentualen Prozentsatzes der korrekten MCQs gemessen, die von einem Experten für Bauchfellkrebs und deren klinisches Management verfasst wurden. Die Antworten wurden durch menschliche Überprüfung als richtig oder falsch eingestuft; Um jedoch sich wiederholende Aufgaben für Forscher zu minimieren, wird grundlegender Code bereitgestellt, um einen automatisierteren Vergleich der Leistung zwischen LLMs zu ermöglichen.

Ein wesentlicher Vorteil dieses Protokolls ist der bereitgestellte Code für den programmgesteuerten Zugriff auf eine Vielzahl von LLMs. Bisher haben sich Benutzer ohne die erforderlichen technischen Fähigkeiten zur Bewertung der Leistung von MCQs möglicherweise auf wiederholte manuelle Tests über eine webbasierte Schnittstelle verlassen. Der bereitgestellte Code enthält grundlegende Klassen für die Schnittstelle mit mehreren gängigen LLMs sowie Beispiele für die Ausführung des Codes. Das Ziel der Bereitstellung dieser Tools ist es, mehr Forschern die Möglichkeit zu geben, Arbeitsabläufe zu automatisieren, die Antworten auf eine Aufforderung über eine Vielzahl von LLMs hinweg bewerten, um die Fähigkeit zur Durchführung vergleichender Studien zu verbessern.

Darüber hinaus sind die skizzierten Methoden so konzipiert, dass sie Flexibilität und Erweiterbarkeit betonen. Obwohl der Code so verwendet werden kann, wie er ist, wird er mit der Absicht geschrieben, ihn bei Bedarf weiter an bestimmte Anwendungsfälle anzupassen, z. B. die Verwendung verschiedener LLMs und die Einbettung von Modellen zur Erweiterung oder zum Vergleich. Da sich die LLM-Landschaft rasant weiterentwickelt, wird diese Erweiterbarkeit immer wichtiger, um den unterschiedlichen Anforderungen der Benutzer in verschiedenen Bereichen gerecht zu werden. Darüber hinaus bietet die Llama-Index-Bibliothek eine beträchtliche Anzahl von Funktionen, die in den demonstrierten Methoden nicht verwendet werden, was den Benutzern zusätzliche Optionen bei der Erstellung ähnlicher Systeme bieten kann. Diese finden Sie in der offiziellen Dokumentation von Llama-Index.

Die Leser sollten auch sorgfältig über Bewertungsmethoden nachdenken, die für ihren Anwendungsfall optimal sind. Während MCQs aufgrund ihrer leicht quantifizierbaren Natur für LLM-Vergleiche an Popularität gewonnen haben ^31,32, ist Vorsicht geboten, wenn man sie als umfassende Leistungsmetrik für generative Systeme betrachtet. In der neueren Literatur wurde eine Vielzahl von Evaluierungen implementiert, darunter qualitative Ansätze, Human Review, Stanford Holistic Evaluation of Language Models (HELM)³³ und Standardmetriken zur Verarbeitung natürlicher Sprache wie Bilingual Evaluation Understudy (BLEU), General Language Understanding Evaluation (GLUE), ROUGE, Perplexity und F1-Score 34,35,36,37,38,39.

Es gibt Einschränkungen für diese Methoden, wie hier angegeben. Während beispielsweise Schnittstellen für mehrere führende LLM-Anbieter implementiert wurden, ist diese Implementierung angesichts der sich schnell entwickelnden Natur dieses Bereichs und der unterschiedlichen Anwendungsfälle möglicherweise nicht umfassend. Der Code wurde jedoch unter diesem Gesichtspunkt entworfen, wie bereits erwähnt. Darüber hinaus wurde zwar grundlegender Code für den Übergang zur automatisierten Benotung bereitgestellt, aber es gibt Raum für die Verwendung alternativer Tools für die Benotung von Antworten wie HELM oder BLEU. Darüber hinaus kann die zusätzliche Verwendung von Werkzeugen zur Einschränkung der Ausgabe nach vordefinierten Grammatiken, wie z. B. Language Model Query Language (LMQL), verwendet werden, um diese Arbeit zu erweitern und die Automatisierung vergleichender LLM-Studien zu erhöhen. Darüber hinaus sind angesichts der Vielzahl potenzieller Anwendungsfälle weitere Studien über die Auswirkungen von RAG-Systemen auf die allgemeine, domänenfremde Leistung erforderlich, um etwaige Leistungskompromisse zu charakterisieren. Schließlich müssen weitere Methoden zur Verbesserung der Reliabilität und Bewertung von LLM-Antworten untersucht werden.

Beachten Sie, dass aus technischen Gründen Python 3.10 oder höher erforderlich ist. Shell-Eingabeaufforderungen werden für bash, zsh oder andere UNIX-ähnliche Terminals geschrieben. Befehle können ausgeführt werden (im Protokoll als "Ausführen des Befehls" bezeichnet), indem einfach der Text gefolgt von der Eingabetaste eingegeben wird. Für jeden Schritt im Protokoll möchte ein Benutzer möglicherweise den Code in der Datei untersuchen, die ausgeführt wird, um ein umfassenderes Verständnis der Mechanismen hinter dem Arbeitsablauf zu erhalten.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
pip3 Version 22.0.2
Python-Version 3.10.12