Verbesserung der Fairness in großen Sprachmodellen für klinische KI-Anwendungen durch Feinabstimmung und Prompting

Zusammenfassung

Gesundheitsspezifische große Sprachmodelle stehen vor ethischen und technischen Herausforderungen, da sie – wie andere große Sprachmodelle – die in ihren Trainingsdaten enthaltenen Verzerrungen widerspiegeln. Das hier vorgestellte Protokoll überprüft die Unterdrückung von vier Arten von Vorurteilen (Geschlecht, Rasse, Beruf, Religion) mittels prompter Varianten über drei Open-Source-Modelle hinweg.

Zusammenfassung

Large Language Models (LLMs) werden zunehmend auf sensible Bereiche wie die medizinische Versorgung angewandt, die mehrere technische und ethische Herausforderungen mit sich bringen. Die unmittelbarsten Probleme sind in diese Modelle eingebaute Verzerrungen, die auf großen Datensätzen trainiert sind, die gesellschaftliche Vorurteile widerspiegeln könnten. Solche Vorurteile können zu unfairen, nicht verallgemeinerbaren oder sogar schädlichen Ergebnissen führen, wodurch sie in der realen Welt klinisch unanwendbar und nicht ethischen und regulatorischen Einschränkungen entsprechen. Wir untersuchen, wie gut die Unterdrückung von Vorurteilen funktioniert, wenn fein abgestimmte Modelle in vier entscheidenden Kategorien (Geschlecht, Rasse, Beruf und Religion) angeregt werden. Wir kuratieren manuell einen vielfältigen Inferenzdatensatz und erstellen zwölf Prompt-Varianten – von denen sechs debiased sind –, um die Ergebnisse von drei Open-Source-LLMs zu testen: Llama2-7B, Mistral-7B und Dolly-7B. Die Fairness und Interpretierbarkeit der Ergebnisse werden mit einer Bias-Scoring-Metrik bewertet, wobei niedrigere Werte auf bessere Fairness und Interpretierbarkeit hinweisen. Wir stellen außerdem fest, dass debiased Prompts die Verzerrung verringern und das Feinjustieren des Modells sogar noch besser funktioniert. Die Ergebnisse unterstreichen die entscheidende Bedeutung zeitnahes Handelns, Modellrobustheit und fortlaufender ethischer Prüfung für eine vertrauenswürdige und faire Einführung von LLMs in realen Umgebungen, wie der medizinischen Bildgebung und der Pflege elektronischer Gesundheitsakten (EHR).

Einleitung

Große Sprachmodelle verfügen über eine enorme Nachhallwirkung als Werkzeuge zur Unterstützung vielfältiger Aufgaben, darunter Entscheidungsfindung ^1,2, Textgenerierung³, Textübersetzung⁴, Kundenstimmungsanalyse⁵, Fragestellung⁶ und Erstellung klinischer Berichte⁷. In jüngerer Zeit gab es mehrere Fälle, in denen Anwendungen LLMs nutzten, um Inhalte zu erzeugen, die sozial benachteiligten Personen oder Gruppen schaden ^8,9,10

Protokoll

Alle Experimente werden auf der Google Colab-Plattform (A100 mit 40 GB RAM) durchgeführt. Für die Durchführung von Experimenten wurden API-Schlüssel (Modellkarten) von Llama2-7B, Mistral-7B und Dolly-7B von Hugging Face gesammelt.

Das Protokoll ist in drei Teile unterteilt. Erstens sollte man einen Datensatz aufbauen, der als Grundlage zur Bewertung sozialer Voreingenommenheit in LLMs dient. Anschließend entwerfen Sie zwölf verschiedene prompte Varianten, die sich an die Arbeit von Kamruzzaman und Kim³⁸ orientiert, um das Vorhandensein sozialer Voreingenommenheit in den von LLMs erze....

Ergebnisse

Anhand des in Gleichung 1 definierten Verzerrungswerts beantworten wir systematisch unsere Forschungsfragen und bewerten gesellschaftliche Verzerrungen in LLMs über vier soziale Dimensionen hinweg. Die statistisch signifikanten Reduktionen der beobachteten Verzerrungswerte liefern empirische Validierung des vorgeschlagenen Protokolls zur Verzerrung von Verzerrungen bei LLMs für Aufgaben mit hohem Einsatz. Um die Wirksamkeit von NeutralSet, also des kuratierten Inferenzdatensatzes, zu bew.......

Diskussion

In dieser Arbeit präsentieren wir ein skalierbares Protokoll zur Reduzierung sozialer Vorurteile in LLMs, das Llama2-7B¹³, Mistral-7B¹⁴ und Dolly-7B¹⁵ nutzt. Dieser Ansatz kombiniert HP2-Prompt-Engineering, das Debiasing von Prompt-Modifikationen und gezielte Feinabstimmung, um ein Protokoll zur kontinuierlichen Reduktion von Verzerrungen in LLM-generierten Ergebnissen über die vier wichtigsten gesellschaftlichen Dim.......

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Google Colab	Google	https://colab.research.google.com/	verwendet für die Durchführung der Experimente
Mendeley Desktop	Mendeley	https://www.mendeley.com/	wird zur Verwaltung von Zitaten und Referenzen verwendet.