In diesem Protokoll wird die Antwortqualität des grundlegenden Sprachmodells durch Augmentation mit begutachteten, domänenspezifischen wissenschaftlichen Artikeln durch einen Vektor-Embedding-Mechanismus verbessert. Darüber hinaus wird Code bereitgestellt, um den Leistungsvergleich zwischen großen Sprachmodellen zu erleichtern.
Ein Abonnement von JoVE ist erforderlich, um diesen Inhalt anzuzeigen. Melden Sie sich an oder beginnen Sie noch heute mit einer kostenlosen Testphase.
Methodenartikel
Erweiterung großer Sprachmodelle durch Vektoreinbettungen zur Verbesserung der domänenspezifischen Reaktionsfähigkeit
In diesem Artikel
Zusammenfassung
Zusammenfassung
Große Sprachmodelle (LLMs) haben sich zu einer beliebten Ressource für die Generierung von Informationen entwickelt, die für eine Benutzerabfrage relevant sind. Solche Modelle werden durch einen ressourcenintensiven Trainingsprozess erstellt, bei dem ein umfangreicher, statischer Korpus von Textdaten verwendet wird. Diese statische Natur führt zu Einschränkungen bei der Einführung in Bereichen mit sich schnell änderndem Wissen, proprietären Informationen und sensiblen Daten. In dieser Arbeit werden Methoden zur Anreicherung von Allzweck-LLMs, bekannt als Foundation-Modelle, mit domänenspezifischen Informationen unter Verwendung eines Embeddings-basierten Ansatzes zur Einbeziehung aktueller, begutachteter wissenschaftlicher Manuskripte skizziert. Dies wird durch Open-Source-Tools wie Llama-Index und öffentlich zugängliche Modelle wie Llama-2 erreicht, um die Transparenz, die Privatsphäre und Kontrolle der Benutzer sowie die Replizierbarkeit zu maximieren. Während wissenschaftliche Manuskripte als Anwendungsbeispiel herangezogen werden, kann dieser Ansatz auf jede beliebige Textdatenquelle ausgeweitet werden. Darüber hinaus werden Methoden zur Bewertung der Modellleistung nach dieser Verbesserung erläutert. Diese Methoden ermöglichen die schnelle Entwicklung von LLM-Systemen für hochspezialisierte Domänen, unabhängig von der Vollständigkeit der Informationen im Trainingskorpus.
Einleitung
Große Sprachmodelle (LLMs) wie ChatGPT von OpenAI oder Llama von Meta AI haben sich schnell zu einer beliebten Ressource für die Generierung von Text entwickelt, der für eine Benutzeraufforderung relevant ist. Ursprünglich dazu gedacht, die nächsten lexikalischen Elemente in einer Sequenz vorherzusagen, haben sich diese Modelle weiterentwickelt, um den Kontext zu verstehen, klinische Informationen zu kodieren und eine hohe Leistung bei einer Vielzahl von Aufgaben zu demonstrieren 1,2,3,4. Obwohl Sprachmodelle diesen Fähigkeiten und ihrer heutigen Popularität um Jahrzehnte voraus sind5, haben die jüngsten Fortschritte bei Deep Learning und Computing-Fähigkeiten vortrainierte, qualitativ hochwertige kommerzielle LLMs über webbasierte Technologien und Application Program Interfaces (APIs) für Benutzer auf breiter Basis verfügbar gemacht6. Es gibt jedoch einige bemerkenswerte Einschränkungen bei der Nutzung von LLMs in diesem Format.
Herausforderung 1: Statischer Trainingskorpus
LLMs werden mit einem enormen (z. B. zwei Billionen Token im Fall von Llama 27), aber statischen Textdatenbestand trainiert. Dies stellt eine Herausforderung dar, genaue Antworten auf Bereiche zu finden, die sich in einer rasanten Entwicklung befinden oder sich in der Literatur verändern. Bei diesem statischen Ansatz müssten LLMs häufig neu trainiert werden, um mit den neuesten Daten Schritt zu halten, was weder praktisch noch skalierbar ist. Darüber hinaus können Aufforderungen, die Antworten auf der Grundlage von Informationen erfordern, die nicht in den Trainingsdaten enthalten sind, eine nützliche Textgenerierung verhindern oder zu Halluzinationen führen8. Fälle von Halluzinationen oder Faktenfälschungen geben Anlass zu erheblichen Bedenken hinsichtlich der Zuverlässigkeit von LLMs, insbesondere in Umgebungen, in denen die Genauigkeit der Informationen entscheidend ist9.
Herausforderung 2: Mangelnde Domänenspezifität
Vortrainierte Modelle werden häufig für die allgemeine Verwendung erstellt, während Benutzer möglicherweise ein Modell benötigen, das speziell für die Leistung in einer bestimmten Domäne optimiert ist. Darüber hinaus sind die Rechenressourcen und Daten, die für das De-novo-Training eines Modells oder die Durchführung einer signifikanten Feinabstimmung erforderlich sind, für viele Benutzer unerschwinglich.
Herausforderung 3: Mangelnde Privatsphäre
Benutzer, die Anwendungen mit sensiblen Daten oder proprietären Informationen verfolgen, sind möglicherweise nicht bereit oder nicht in der Lage, bestimmte LLM-Dienste zu nutzen, da ihnen Informationen darüber fehlen, wie Daten gespeichert oder verwendet werden können.
Herausforderung 4: Fehlende garantierte Stabilität
Dienste mit proprietären LLMs können jederzeit verfügbare Modelle oder das Verhalten ändern, so dass die Stabilität bei der Implementierung von Anwendungen, die auf diesen Diensten basieren, ein Problem darstellt.
Retrieval-Augmented Generation (RAG) ist eine Technik, die entwickelt wurde, um die LLM-Leistung zu verbessern, insbesondere bei Abfragen, die sich auf Informationen außerhalb des Trainingskorpus des Modells beziehen10,11. Diese Systeme ergänzen LLMs, indem sie Kontextinformationen einbeziehen, die bei der Generierung einer Antwort auf eine Benutzeranfrage berücksichtigt werden müssen. In verschiedenen neueren Arbeiten wurden die Anwendungen von RAG-Systemen und ihre potenziellen Vorteile beschrieben 12,13,14.
Das Ziel der in dieser Arbeit skizzierten Methode ist es, den Aufbau eines solchen Systems zu demonstrieren und Forschern einen Rahmen zu bieten, um schnell mit domänenspezifischen, erweiterten LLMs zu experimentieren. Diese Methode ist für Benutzer anwendbar, die ein LLM um eine externe textbasierte Datenquelle erweitern möchten. Konkret besteht ein übergeordnetes Ziel dieses Protokolls darin, Schritt-für-Schritt-Code bereitzustellen, der auf eine Vielzahl praktischer LLM- und RAG-Experimente erweiterbar ist, ohne dass erhebliches technisches Know-how im Bereich der Sprachmodellierung erforderlich ist, obwohl praktische Kenntnisse in Python erforderlich sind, um diesen Ansatz ohne Änderungen anzuwenden. Um die Benutzerkontrolle, Transparenz, Portabilität und Erschwinglichkeit von Lösungen zu maximieren, werden öffentlich zugängliche Open-Source-Tools verwendet. Das vorgeschlagene System löst die zuvor genannten Probleme auf folgende Weise:
Lösungen 1 und 2: Statisches Trainingskorpus und mangelnde Domänenspezifität
Die bereitgestellte Methodik nutzt einen RAG-Ansatz, bei dem Einbettungen verwendet werden, um domänenspezifische Informationen bereitzustellen, die nicht in den ursprünglichen Trainingsdaten enthalten sind. Auf hoher Ebene transformieren Einbettungsmodelle Text oder andere Daten in eine Darstellung als Vektor oder eindimensionales Array von Zahlen. Diese Technik ist von Vorteil, da sie semantische Informationen, die im Text enthalten sind, in eine dichte, numerische Form umwandelt. Durch die Projektion einer Benutzerabfrage in denselben Einbettungsraum können verschiedene Algorithmen verwendet werden, um den Abstand15 und damit die annähernde semantische Ähnlichkeit zwischen der Benutzerabfrage und Abschnitten von Textdokumenten zu berechnen. Daher kann das Erstellen einer Datenbank mit solchen Vektoren aus Dokumenten, die in einzelne Abschnitte unterteilt sind, das Durchsuchen einer beträchtlichen Anzahl von Dokumenten nach Text erleichtern, der für eine Benutzerabfrage am relevantesten ist (Abbildung 1). Dieser Ansatz ist auf jedes Textdokument erweiterbar. Während andere Ansätze, wie z. B. Online-Suchfunktionen, allmählich implementiert werden, um LLMs zu erweitern, ermöglicht dieser Ansatz den Benutzern, Quellen auszuwählen, die für ihren Anwendungsfall als ausreichend hochwertig angesehen werden.
Lösung 2: Mangelnde Privatsphäre
Bei dieser Implementierung wurde eine sichere Cloud-Umgebung für das Hosting verwendet, in der keine Benutzeraufforderungen, generierten Antworten oder andere Daten dieses Ökosystem verließen. Der gesamte Code wird jedoch plattformunabhängig geschrieben, um sicherzustellen, dass ein anderer Cloud-Anbieter oder lokale Hardware ersetzt werden kann.
Lösung 3: Fehlende garantierte Stabilität
Dieser Ansatz nutzt Open-Source-Bibliotheken und konzentriert sich auf die Erweiterung von LLMs mit öffentlich zugänglichen Gewichtungen, die bei Bedarf ein höheres Maß an Transparenz, Stabilität und Versionierung ermöglichen.
Ein vollständiges Schema unseres vorgeschlagenen Systems ist in Abbildung 2 dargestellt, und detaillierte Anweisungen zur Replikation dieses oder eines ähnlichen Systems finden Sie im Abschnitt Protokoll. Eine weitere Überlegung bei der Änderung des Modellverhaltens durch Feinabstimmung oder Erweiterung ist die Bewertung der Leistung. Bei sprachgenerierenden Modellen stellt dies eine besondere Herausforderung dar, da viele traditionelle Metriken des maschinellen Lernens nicht anwendbar sind. Obwohl es eine Vielzahl von Techniken gibt16, wurden in dieser Studie von Experten geschriebene Multiple-Choice-Fragen (MCQs) verwendet, um die Genauigkeit zu bewerten und die Leistung vor und nach der Augmentation sowie mit beliebten alternativen LLMs zu vergleichen.
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Protokoll
In dem in diesem Artikel gezeigten Anwendungsfall wurde der Vektorspeicher unter Verwendung veröffentlichter Richtlinien der Chicago Consensus Working Group17 generiert. Diese Expertengruppe wurde gegründet, um Leitlinien für die Behandlung von Bauchfellkarzinomen zu entwickeln. Das Fachgebiet wurde so gewählt, dass es innerhalb des klinischen Fachgebiets der Prüfärzte liegt. Die Artikel wurden aus Online-Zeitschriftenrepositorien wie Cancer und den Annals of Surgical Oncology veröffentlicht. Ein kompaktes (33,4 Mio. Parameter) Einbettungsmodell, das von der Beijing Academy for Artificial Intelligence (BAAI, https://www.baai.ac.cn/english.html), bge-small-en, erstellt wurde, wurde verwendet, um Einbettungen aus Quelldokumenten zu generieren. Die resultierende Datenbank wurde dann verwendet, um die Modelle Llama 2 und Open-AIFoundation 7 zu erweitern. Zur Bequemlichkeit des Lesers wird der Code über GitHub (https://github.com/AnaiLab/AugmentedLLM) zur Verfügung gestellt. Um die Replizierbarkeit zu gewährleisten, wird empfohlen, die gleichen Versionen von Bibliotheken zu verwenden, die in der bereitgestellten Anforderungsliste verwendet werden, sowie die gleiche Version von Python. Weitere Details zur Installation oder Dokumentation zu Tools, die in den folgenden Methoden verwendet werden, finden Sie auf den offiziellen Websites der Anbieter für Python (https://www.python.org), git (https://git-scm.com), Llama-Index (https://llamaindex.ai) und Chroma (https://trychroma.com).
1. Voraussetzungen: Überprüfen des Codes und Installieren der erforderlichen Bibliotheken
- Stellen Sie sicher, dass git, python und pip installiert sind.
- Führen Sie in einem Terminal die folgenden Befehle aus, um die Installation zu überprüfen:
git --version
python3 --version
pip3 --version
- Führen Sie in einem Terminal die folgenden Befehle aus, um die Installation zu überprüfen:
- Überprüfen Sie den Code und die Installationsanforderungen.
- Führen Sie in einem Terminal die folgenden Befehle aus:
git clone https://github.com/AnaiLab/AugmentedLLM.git
cd ./ErweitertLLM/
pip3 install -r requirements.txt
- Führen Sie in einem Terminal die folgenden Befehle aus:
2. Erstellung einer Vektordatenbank mit Llama-Index
- Konvertieren Sie RTF-Dateiformate (nur erforderlich, wenn Dateien in einem RTF-Format vorliegen).
- Bearbeiten Sie die Datei mit dem Titel config.py, und ersetzen Sie die Dateipfade im folgenden Code durch den Speicherort der zu konvertierenden RTF-Artikel und den Speicherort, an den die Nur-Text-Dateien geschrieben werden sollen, indem Sie die folgenden Befehle eingeben. Speichern Sie die Datei.
rtf_file_dir = './articles_rtf/'
converted_file_dir = './articles_converted/' - Führen Sie in einem Terminal im selben Verzeichnis den Code aus, um Nur-Text-Versionen von RTF-Dateien zu generieren, indem Sie den folgenden Befehl ausführen:
python3 ./convert_rtf.py
- Bearbeiten Sie die Datei mit dem Titel config.py, und ersetzen Sie die Dateipfade im folgenden Code durch den Speicherort der zu konvertierenden RTF-Artikel und den Speicherort, an den die Nur-Text-Dateien geschrieben werden sollen, indem Sie die folgenden Befehle eingeben. Speichern Sie die Datei.
- Erstellen und speichern Sie die Vektordatenbank.
- Bearbeiten Sie die config.py Datei, indem Sie den Wert der folgenden Variablen durch den Dateipfad des Ordners ersetzen, der Dokumente enthält, mit denen das LLM erweitert werden soll. Speichern Sie die Datei.
article_dir = './Artikel/' - Führen Sie in einem Terminal im selben Verzeichnis den Code mit dem folgenden Befehl aus, um die Datenbank zu erstellen und beizubehalten. Vergewissern Sie sich, dass die Datenbank jetzt im Ordner vector_db gespeichert ist.
python3 ./build_index.py
- Bearbeiten Sie die config.py Datei, indem Sie den Wert der folgenden Variablen durch den Dateipfad des Ordners ersetzen, der Dokumente enthält, mit denen das LLM erweitert werden soll. Speichern Sie die Datei.
3. Erweiterung eines Lama-Modells mit einer in Abschnitt 2 generierten Vektordatenbank
- Lokales Instanziieren von benutzerdefiniertem LLM (optional)
HINWEIS: Dieser Schritt ist nur erforderlich, wenn Sie ein anderes Modell als das Standardmodell Llama-2-7B verwenden möchten. Wenn Sie das Standardmodell verwenden möchten, fahren Sie mit Schritt 3.2 fort.- (Mit einem benutzerdefinierten LLM) Geben Sie ein LLM an, das erweitert werden soll, indem Sie run_augmented_llm.py bearbeiten und ein LLM-Objekt mit llama-index im Konstruktor als llm-Parameter in den folgenden Codezeilen anstelle von None übergeben.
augmentedLLM = ErweitertLLM(vector_store, llm=Keine)
- (Mit einem benutzerdefinierten LLM) Geben Sie ein LLM an, das erweitert werden soll, indem Sie run_augmented_llm.py bearbeiten und ein LLM-Objekt mit llama-index im Konstruktor als llm-Parameter in den folgenden Codezeilen anstelle von None übergeben.
- Abfrage von erweitertem LLM
- Führen Sie den folgenden Befehl im Terminal aus:
python3 ./run_augmented_llm.py - Führen Sie Benutzerabfragen aus, um eine Antwort zu erhalten, die durch Daten in den Manuskripten ergänzt wird (Abbildung 3 und Abbildung 4). Drücken Sie STRG + C , um den Vorgang zu beenden, wenn Sie fertig sind.
- Führen Sie den folgenden Befehl im Terminal aus:
4. Programmatischer Vergleich alternativer LLMs
- Erstellen Sie MCQs.
- Bearbeiten Sie die Datei questions.py und beachten Sie dabei das Format der Beispiele. Fügen Sie Fragen in einem ähnlichen Format hinzu. Speichern Sie die Datei.
- Verbinden Sie sich über die API mit GPT-3.5, GPT-4, OpenChat oder anderen Vergleichsmodellen.
- Bearbeiten Sie die config.py Datei, und fügen Sie den API-Schlüssel für OpenAI oder Huggingface hinzu, wenn das Ziel darin besteht, ein Benchmarking mit Modellen eines der beiden Anbieter durchzuführen. Speichern Sie die Datei.
huggingface_key = ''
openai_key = '' - Bearbeiten Sie die compare_llms.py Datei, und wählen Sie die zu testenden Modelle aus, indem Sie die Modelle auskommentieren (die Zeichen '# ' am Anfang dieser Zeile löschen), mit denen verglichen werden soll.
HINWEIS: Einige Komparatoren benötigen einen API-Schlüssel, wie in Schritt 4.2.1 festgelegt. Bearbeiten Sie außerdem den Parameter output_dir, um bei Bedarf zu ändern, wo die LLM-Ausgabe gespeichert wird. Andernfalls wird ein Standardwert verwendet.
output_dir = './llm_responses/' - Führen Sie in einem Terminal den Code mit dem folgenden Befehl aus. Zeigen Sie nach der Ausführung die Modellantworten in dem in Schritt 4.2.2 angegebenen Ordner zur Benotung oder anderen Überprüfung an.
python3 ./compare_llms.py
- Bearbeiten Sie die config.py Datei, und fügen Sie den API-Schlüssel für OpenAI oder Huggingface hinzu, wenn das Ziel darin besteht, ein Benchmarking mit Modellen eines der beiden Anbieter durchzuführen. Speichern Sie die Datei.
- (Fakultativ) Experimentieren Sie mit der automatischen Benotung von MCQ-Antworten. Im Beispielcode wird die LMQL-Bibliothek verwendet, um die LLM-Ausgabe in ein erwartetes Format einzuschränken.
- Öffnen Sie die Datei automated_comparison.py und heben Sie ähnlich wie in Schritt 4.2.2 die Auskommentierung der einzuschließenden Modelle auf, bearbeiten Sie die output_dir Variable oder passen Sie sie anderweitig an. Beachten Sie, dass die Modellausgabe weiterhin auf ähnliche Weise gespeichert wird. Speichern Sie die Datei.
- Führen Sie den Code aus Schritt 4.3.1 aus, indem Sie den folgenden Befehl in einem Terminal ausführen:
python3 ./automated_comparison.py
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Ergebnisse
Ein Satz von 22 Veröffentlichungen aus den Managementrichtlinien der Chicago Consensus Working Group wurde verwendet, um das Basismodell Llama-7b zu ergänzen17. Die Dokumente wurden mit dem Tool Llama-Index in einen Vektorindex umgewandelt, um Llama-2-7b-CCWG-Embed zu generieren. Beliebte OpenAI-Modelle wie GPT-3.5 und GPT-4 wurden ebenfalls auf ähnliche Weise erweitert, um GPT-XX-CCWG-Embed-Modelle zu erzeugen. Insgesamt wurden 20 Multiple-Choice-Fragen (MCQ) entwickelt, um das Wissen im Zusammen...
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Diskussion
Die hier vorgestellten Methoden zielen darauf ab, die Erforschung domänenspezifischer Anwendungen von LLMs zu erleichtern, ohne dass ein De-novo-Training oder eine umfangreiche Feinabstimmung erforderlich ist. Da LLM zu einem Bereich von erheblichem Forschungsinteresse werden, werden Ansätze zur Erweiterung der Wissensdatenbanken und zur Verbesserung der Genauigkeit der Antworten immer wichtiger 18,19,20,21.
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Offenlegungen
Die Autoren haben keine Interessenkonflikte anzugeben.
Danksagungen
Diese Arbeit wurde durch mehrere Open-Source-Bibliotheken erleichtert, vor allem durch llama-index (https://www.llamaindex.ai/), ChromaDB (https://www.trychroma.com/) und LMQL (https://lmql.ai/).
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Materialien
| Name | Unternehmen | Katalognummer | Kommentare |
|---|---|---|---|
| pip3 Version 22.0.2 | |||
| Python-Version 3.10.12 |
Referenzen
- Singhal, K., et al. Large language models encode clinical knowledge. Nature. 620 (7972), 172-180 (2023).
- Gilson, A., et al. How does ChatGPT perform on the United States medical licensing examination? The implications of large language models for medical education and knowledge assessment. JMIR Med Educ. 9 (1), e45312(2023).
- Guerra, G. A., et al. GPT-4 artificial intelligence model outperforms ChatGPT, medical students, and neurosurgery residents on neurosurgery written board-like questions. World Neurosurg. 179, e160-e165 (2023).
- Terwiesch, C. Would Chat GPT3 get a Wharton MBA? A prediction based on its performance in the Operations Management course. , https://mackinstitute.wharton.upenn.edu/wp-content/uploads/2023/01/Christian-Terwiesch-Chat-GTP.pdf (2023).
- Weizenbaum, J. ELIZA-a computer program for the study of natural language communication between man and machine. Communications of the ACM. 9 (1), 36-45 (1966).
- Wu, T., et al. A brief overview of ChatGPT: The history, status quo and potential future development. IEEE/CAA Journal of Automatica Sinica. 10 (5), 1122-1136 (2023).
- Touvron, H., et al. Llama 2: Open foundation and fine-tuned chat models. arXiv [cs.CL]. , http://arxiv.org/abs/2307.09288 (2023).
- Huang, L., et al. A survey on hallucination in large language models: Principles, taxonomy, challenges, and open questions. arXiv [cs.CL]. , http://arxiv.org/abs/2311.05232 (2023).
- Thirunavukarasu, A. J., et al. Large language models in medicine. Nature Med. 29 (8), 1930-1940 (2023).
- Lewis, P., et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. arXiv [cs.CL]. , http://arxiv.org/abs/2005.11401 (2020).
- Li, J., Yuan, Y., Zhang, Z. Enhancing LLM factual accuracy with RAG to counter hallucinations: A case study on domain-specific queries in private knowledge-bases. arXiv [cs.CL]. , http://arxiv.org/abs/2403.10446 (2024).
- Zhang, P., Xiao, S., Liu, Z., Dou, Z., Nie, J. -Y. Retrieve anything to augment large language models. arXiv [cs.IR]. , http://arxiv.org/abs/2310.07554 (2023).
- Ling, C., et al. Domain specialization as the key to make large language models disruptive: A comprehensive survey. arXiv [cs.CL]. , http://arxiv.org/abs/2305.18703 (2023).
- Ram, O., et al. In-Context retrieval-augmented language models. Trans Assoc Comput Linguist. 11, 1316-1331 (2023).
- Cormode, G. Sequence distance embeddings. , The University of Warwick. https://wrap.warwick.ac.uk/61310/7/WRAP_THESIS_Cormode_2003.pdf (2003).
- Guo, Z., et al. Evaluating large language models: A comprehensive survey. arXiv [cs.CL]. , http://arxiv.org/abs/2310.19736 (2023).
- Chicago Consensus Working Group. The Chicago Consensus Guidelines for peritoneal surface malignancies: Introduction. Cancer. 126 (11), 2510-2512 (2020).
- Wang, G., et al. OpenChat: Advancing open-source language models with mixed-quality data. arXiv [cs.CL]. , http://arxiv.org/abs/2309.11235 (2023).
- Jiang, A. Q., et al. Mistral 7B. arXiv [cs.CL]. , http://arxiv.org/abs/2310.06825 (2023).
- Megahed, F. M., et al. AI and the future of work in statistical quality control: Insights from a first attempt to augmenting ChatGPT with an SQC knowledge base (ChatSQC). arXiv [cs.HC]. , http://arxiv.org/abs/2308.13550 (2023).
- Wang, Y., Ma, X., Chen, W. Augmenting black-box LLMs with medical textbooks for clinical question answering. arXiv [cs.CL]. , http://arxiv.org/abs/2309.02233 (2023).
- Dodge, J., et al. Measuring the carbon intensity of AI in cloud instances. FACCT 2022. , (2022).
- Samsi, S., et al. From words to watts: Benchmarking the energy costs of large language model inference. arXiv [cs.CL]. , http://arxiv.org/abs/2310.03003 (2023).
- Khene, Z. -E., Bigot, P., Mathieu, R., Rouprêt, M., Bensalah, K. Development of a personalized chat model based on the European association of urology oncology guidelines: Harnessing the power of generative artificial intelligence in clinical practice. Eur Urol Oncol. 7 (1), 160-162 (2024).
- Kresevic, S., et al. Optimization of hepatological clinical guidelines interpretation by large language models: a retrieval augmented generation-based framework. NPJ Digit Med. 7 (1), 102(2024).
- Ge, J., et al. Development of a liver disease-specific large language model chat interface using retrieval augmented generation. medRxiv. , (2023).
- Rule-augmented artificial intelligence-empowered systems for medical diagnosis using large language models. Panagoulias, D. P., et al. 2023 IEEE 35th International Conference on Tools with Artificial Intelligence (ICTAI), , 70-77 (2023).
- Panagoulias, D. P., et al. Augmenting large language models with rules for enhanced domain-specific interactions: The case of medical diagnosis. Electronics. 13 (2), 320(2024).
- Jin, Q., et al. Matching patients to clinical trials with large language models. arXiv [cs.CL]. , http://arxiv.org/abs/2307.15051 (2023).
- Gupta, S. K., et al. PRISM: Patient records interpretation for semantic clinical trial matching using large language models. arXiv [cs.CL]. , http://arxiv.org/abs/2404.15549 (2024).
- Hendrycks, D., et al. Measuring massive multitask language understanding. arXiv [cs.CY]. , http://arxiv.org/abs/2009.03300 (2020).
- Lin, S., Hilton, J., Evans, O. TruthfulQA: Measuring how models mimic human falsehoods. arXiv [cs.CL]. , http://arxiv.org/abs/2109.07958 (2021).
- Bommasani, R., Liang, P., Lee, T. Holistic evaluation of language models. Ann N Y Acad Sci. 1525 (1), 140-146 (2023).
- Banerjee, D., Singh, P., Avadhanam, A., Srivastava, S. Benchmarking LLM powered Chatbots: Methods and Metrics. arXiv [cs.CL]. , http://arxiv.org/abs/2308.04624 (2023).
- Papineni, K., Roukos, S., Ward, T., Zhu, W. -J. Bleu. Proceedings of the 40th Annual Meeting on Association for Computational Linguistics - ACL '02. , (2001).
- Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., Bowman, S. R. Glue: A multi-task benchmark and analysis platform for natural language understanding. , http://arxiv.org/abs/1804.07461 (2019).
- Johnson, D., et al. Assessing the accuracy and reliability of AI-generated medical responses: An evaluation of the chat-GPT model. Res Sq. , (2023).
- Lin, C. -Y. ROUGE: A package for automatic evaluation of summaries. Text Summarization Branches Out. , 74-81 (2004).
- Chen, S., et al. Evaluating the ChatGPT family of models for biomedical reasoning and classification. J Am Med Inform Assoc. 31 (4), 940-948 (2024).
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Nachdrucke und Genehmigungen
