Poprawa sprawiedliwości w dużych modelach językowych dla zastosowań sztucznej inteligencji klinicznej poprzez precyzyjne dostrojenie i prompting

Podsumowanie

Duże modele językowe specyficzne dla opieki zdrowotnej napotykają wyzwania etyczne i techniczne, ponieważ podobnie jak inne duże modele językowe, odzwierciedlają uprzedzenia inherentne w danych treningowych. Przedstawiony tutaj protokół weryfikuje tłumienie czterech typów uprzedzeń (płeć, rasa, zawód, religia) za pomocą wariantów prompt w trzech modelach open-source.

Streszczenie

Duże modele językowe (LLM) są coraz częściej stosowane w wrażliwych obszarach, takich jak opieka medyczna, które stawiają przed sobą liczne wyzwania techniczne i etyczne. Najpilniejsze problemy to uprzedzenia wbudowane w te modele, które są trenowane na dużych zbiorach danych mogących odzwierciedlać uprzedzenia społeczne. Takie uprzedzenia mogą prowadzić do wyników niesprawiedliwych, nieuogólnialnych, a nawet szkodliwych, czyniąc je klinicznie niestosowalnymi w rzeczywistym świecie i niezgodnymi z ograniczeniami etycznymi oraz regulacyjnymi. Analizujemy, jak skutecznie działa tłumienie uprzedzeń, gdy dopracowane modele są wywoływane w czterech kluczowych kategoriach (płeć, rasa, zawód i religia). Ręcznie wybieramy różnorodny zbiór danych wnioskowania i tworzymy dwanaście wariantów promptów — z których sześć jest usuwanych — aby przetestować wyniki trzech open-source LLM: Llama2-7B, Mistral-7B i Dolly-7B. Sprawiedliwość i interpretowalność wyników oceniane są za pomocą metryki punktacji uprzedzenia, gdzie niższe wyniki wskazują na lepszą sprawiedliwość i łatwość interpretacji. Zauważamy też, że prompty z debiasem zmniejszają stronniczość, a precyzyjne dostrojenie modelu działa jeszcze lepiej. Wyniki podkreślają kluczowe znaczenie terminowego działania, odporności modelu oraz ciągłej kontroli etycznej dla wiarygodnego i sprawiedliwego wdrażania LLM w rzeczywistych warunkach, takich jak obrazowanie medyczne, oraz utrzymanie elektronicznej dokumentacji medycznej (EHR).

Wprowadzenie

Duże modele językowe mają ogromny rezonat jako narzędzia wspierające różnorodne zadania, w tym podejmowanie decyzji ^1,2, generowanie tekstu³, tłumaczenie tekstu⁴, analiza nastrojów klientów⁵, odpowiadanie na pytania⁶ oraz generowanie raportów klinicznych⁷. W ostatnich latach zdarzało się kilka przypadków, gdy aplikacje wykorzystywały LLM do generowania treści szkodzących społecznie niekorzystnym osobom lub grupom ^8,9,10. Głównym powodem takich banalnych odpowiedzi jest to, że modele te są trenowane na zbiorach danych, które z natury zawierają uprzedzenia społeczne związane z rasą, płcią, klasą społeczno-ekonomiczną i podobnymi czynnikami. Ale to, co rozumiesz przez "stronniczość" i "sprawiedliwość" w systemie AI w opiece zdrowotnej, może być subiektywne i zależne od kontekstu. Naukowcy włożyli znaczne wysiłki, aby złagodzić uprzedzenia społeczne w LLM^11,12; jednak dalsze ulepszenia pozostają konieczne. Naukowcy zaproponowali wiele strategii ograniczania uprzedzeń, które można podzielić na preprocessing, in-processing, postprocessing lub ich kombinacje, w różnorodnym zakresie zastosowań. Ta klasyfikacja opiera się na etapie, na którym podejmowana jest miara łagodząca. Protokół ten łączy wszystkie trzy strategie mające na celu zwalczanie i łagodzenie uprzedzeń społecznych w sześciu wariantach LLM oraz bada redukcję uprzedzeń w czterech wymiarach uprzedzeń społecznych: płeć, zawód, rasa i religia. Po pierwsze, zbiór danych wnioskowania jest opracowywany z wykorzystaniem techniki augmentacji danych, aby umożliwić LLM generowanie wniosków. Po drugie, dwanaście typów promptów zostało zaprojektowanych tak, aby wywoływać stereotypowe odpowiedzi u LLM. Po trzecie, Llama-2-7B¹³, Mistral-7B¹⁴ i Dolly-7B¹⁵ są dopracowywane na zbiorze danych zawierającym bezstronne zdania z czterech kategorii społecznych: płeć, rasa, zawód i religia, aby uzyskać Llama-2-7B_Finetuned, Mistral-7B_Finetuned i Dolly-7B_Finetuned, odpowiednio. Na koniec, wnioski są wyciągane, zachęcając dopracowane LLM do zbadania ich skuteczności w udzielaniu sprawiedliwych odpowiedzi.

Sformułowaliśmy następujące pytania badawcze i odnieśliśmy się do nich w tym artykule. Dla każdego sformułowanego pytania badawczego (RQ) formułowano hipotezę zerową (H0) oraz alternatywną hipotezę (H1).

RQ1: Czy zbiór danych wnioskowania i podstawowe techniki promptingu są skuteczne w ocenie społecznych uprzedzeń w LLM? Hipoteza zerowa (H0₁): Wyniki błędu uzyskane z zestawu danych wnioskowania w połączeniu z podstawowymi promptami są statystycznie nieodróżnialne od wyników błędu wyjściowego LLM. Alternatywna hipoteza (H1₁): Wyniki błędu z zestawu wnioskowania z podstawowymi promptami statystycznie istotnie różnią się od wyników błędu wyjściowego LLM. Aby przetestować hipotezę, zestaw danych NeutralSet został opracowany poprzez modyfikację StereoSet¹⁶ i ocenę każdego LLM za pomocą podstawowych technik promptingu, aby ocenić jego zdolność do generowania niestereotypowych odpowiedzi. W naszych ustawieniach uwzględniamy sześć podstawowych promptów – Standard (prompt zero-shot, który instruuje LLM do wyciągania wniosków), Chain-of-Thoughts (CoT jest zaprojektowany, by LLM myślał krok po kroku i wyciągał wnioski), System1 (prompt, który pozwala LLM szybko myśleć podczas odpowiadania), System2 (prompt, który ma zmusić LLM do myślenia powoli i z przemyślaniem), Human Persona 1 (HP1 został zaprojektowany tak, by LLM przyjął tożsamość człowieka, który myśli szybko podczas wykonywania oraz Human Persona 2 (HP2 zostało zaprojektowane tak, by LLM przyjął ludzką tożsamość, myśląc powoli i rozważnie odpowiadając).

RQ2: Czy techniki debasowania są skuteczne w ujawnianiu i łagodzeniu społecznych uprzedzeń w LLM? Hipoteza zerowa (H0₂): Techniki deboasing prompting nie są skuteczne w ujawnianiu i łagodzeniu społecznych uprzedzeń w LLM. Alternatywna hipoteza (H1₂): Zmierzone wyniki bias znacząco spadają, gdy stosowane są techniki debaasing prompting w LLM. Badamy wpływ odstronionych wariantów podstawowych promptów na trzy otwartoźródłowe LLM, aby osiągnąć sprawiedliwe generowanie tekstu wolne od jakiejkolwiek dyskryminacji społecznej.

RQ3: Czy uprzedzenia społeczne można dodatkowo ograniczyć poprzez dopracowywanie LLM? Hipoteza zerowa (H0₃): Dopracowywanie LLM nie zmniejsza dalszych uprzedzeń społecznych poza redukcją osiąganą wyłącznie technikami promptingu. Alternatywna hipoteza (H1₃): Precyzyjne dostrojenie LLM dodatkowo redukuje uprzedzenia społeczne poza redukcją osiąganą wyłącznie technikami promptowania. Aby odpowiedzieć na to pytanie, modyfikujemy zbiór danych¹⁷ i dopracowujemy na nim LLM, aby lepiej ocenić wpływ dostrojenia na ograniczanie reakcji stereotypowych.

Rysunek 1 ilustruje wpływ szybkiej zmienności i dopracowywania LLM na przewidywany wynik neutralny płciowo. Nowość naszej pracy wynika z integracji ręcznej kuracji zbiorów danych, wielu strategii debiasowania promptów oraz dopracowywania pod jednym protokołem analizy LLM w celu identyfikacji i łagodzenia uprzedzeń społecznych, istotnych dla wrażliwych rzeczywistych zastosowań, takich jak obrazowanie medyczne i utrzymanie EHR. Pogrupowaliśmy literaturę dotyczącą uprzedzeń w LLM w cztery perspektywy: zbiory danych dotyczące stronniczości i skojarzeń poznawczych; ramy wykrywania i oceny uprzedzeń; podejścia do ograniczania błędów uprzedzeń; oraz stronniczość w wyspecjalizowanych dziedzinach.

Naukowcy nieustannie generują zbiory danych, aby umożliwić ocenę błędów uprzedzeń i analizę skojarzeń semantycznych w LLM. Na przykład w psychologii poznawczej i lingwistyce swobodne skojarzenia zawsze odgrywają kluczową rolę w organizacji wiedzy pojęciowej. Symulując to samo powiązanie w utajonym rozkładzie LLM, Abramski i ^in.18 stworzyli zbiór danych LLM World of Words (LWOW). Zbiór danych LWOW o normach swobodnych skojarzeń angielskich, zawierający miliony odpowiedzi z trzech LLM: Mistral-7B¹⁴, Llama-3.1-8B¹⁹ oraz Claude-3-5-haiku-latest²⁰. Inspiracją jest Small World of Words (SWOW)²¹, największym zbiorem danych o normach swobodnych skojarzeń w języku angielskim, który jest szeroko stosowany w różnych badaniach psychologicznych i językowych. Ponadto LWOW pomaga budować sieć poznawczą składającą się z węzłów, z których każdy reprezentuje jedno słowo, z węzłami odpowiadającymi semantycznie podobnym słowom, które są bliżej siebie w sieci. Pomaga to ocenić błędy w wynikach LLM, szacując odległość między słowami w sztucznej sieci poznawczej jako kluczową metrykę. Jedną z głównych przeszkód przy korzystaniu z zastrzeżonych LLM jest to, że ich wewnętrzne elementy są niedostępne. Mimo że w tych modelach podjęto znaczne wysiłki w celu przeciwdziałania błędom błędów, zbiory danych o dopasowaniu wciąż są rzadkie. Aby rozwiązać ten problem, w Zhang i ^in.22 zaproponowano zestaw danych o nazwie GenderAlign, mający na celu ograniczenie uprzedzeń płciowych w LLM. UnStereoEval²³, zbiór benchmarków, ma badać stereotypowe uprzedzenia płciowe w zawodach i emocjach. Ich wyniki ujawniają niski poziom sprawiedliwości w 28 różnych LLM. Bartl i Leavy²⁴ opracowali zbiór danych Tiny Heap, w którym zdania zawierające stereotypowe wzmianki są zastępowane neutralnymi odpowiednikami i dopracowano trzy modele językowe (GPT-2²⁵, PHI-1.5²⁶ i RoBERTa²⁷). W swoich wynikach zauważają znaczący spadek stereotypowych tendencji modelek do płci.

Zaproponowano kilka wielowarstwowych ram mających na celu identyfikację i złagodzenie uprzedzeń w LLM. W Raza i ^in.28 proponowany jest ramowy model NBIAS, który obejmuje cztery warstwy: tworzenie zbiorów danych, rozwój modelu, łagodzenie uprzedzeń oraz ewaluację. Zbiór danych w ramach ramy opiera się na różnych dziedzinach, w tym na opiece zdrowotnej, mediach społecznościowych oraz portalach pracy. Pokazują skuteczność swojego modelu, przewyższając wartość wyjściową (²⁹) o 1% do 8% w uczciwości. W innym takim ramie, GenderCARE³⁰, proponowana jest strategia mająca na celu ograniczenie uprzedzeń płciowych w LLMS. W swoim szeroko zakrojonym programie eksperymentalnym skutecznie zmniejszyli uprzedzenia płciowe średnio o 35% w dwunastu różnych LLM. Ramowy system BiasAlet³¹ automatycznie wykrywa stronniczość społeczną w otwartym tekście generowanym przez LLM. Ma pewne ograniczenia: po pierwsze, badanie prowadzone jest na syntetycznym zbiorze danych z powodu braku punktu odniesienia do oceny stronniczości w generowaniu otwartego tekstu LLM, a po drugie, jest zbudowane na przestarzałym zbiorze danych SBIC³², co utrudnia rozróżnienie istotności ukrytego uprzedzenia od uprzedzenia samego zbioru danych. Uprzedzenia w danych generowanych przez człowieka mogą być wprowadzane do modeli trenowanych na nich. Stosowanie takich modeli budzi kontrowersje w miejscach o wysokiej stawce, gdzie ich wyniki mogą negatywnie wpływać na grupy w trudnej sytuacji. Aby temu sprostać, opracowano ramy BiasBuster³³, które mają wykrywać, oceniać i łagodzić błędy poznawcze w LLM. W związku z tym, w innej pracy³⁴ badacze proponują interaktywne ramy generujące sprawiedliwy, logiczny i krytyczny tekst za pomocą promptów System 2 (zaprojektowanych tak, by pozwolić LLM myśleć powoli i przemyślane), które uzupełniają samodzielnie dopracowane i implikujące prompty. Jednak ramy ograniczone są do zadań w przestrzeni ukrytej LLM. Dong i ^in.35 opracowali ramy wykorzystujące pośrednie badania do łagodzenia i oceny uprzedzeń płciowych w dziesięciu open-source LLM. W swojej metodzie badawczej, nie wykorzystując bezpośrednich stereotypowych wzmianek, ujawniają pośrednie uprzedzenia ze względu na płeć.

Lin i ^in.36 badają polityczne uprzedzenia w generowaniu tekstów przez LLM zarówno dla modeli zamkniętych (GPT-3.5-turbo i GPT-4³⁷), jak i otwartych (Llama-2-7B¹³, Mistral-7B¹⁴, Vicuna²⁹). Ustalili, czy tekst generowany przez model wywołuje lewicowe czy prawicowe uprzedzenia medialne. Ponadto opracowali strategię łagodzenia poprzez dopracowywanie modelu i dostarczanie dodatkowych debiasowanych promptów podczas generowania tekstu. Po zastosowaniu techniki łagodzenia uprzedzeń model ma tendencję do generowania tekstu neutralnego; media lewicowe ani prawicowe nie mają na to wpływu. W związku z tym Raj i ^in.17 zaproponowali rozwiązanie debijające, Social Contact Debiasing (SCD), oparte na hipotezie kontaktu w psychologii, które obejmuje generowanie promptów uwzględniających ideologie różnych grup społecznych, aby zmniejszyć uprzedzenia w generowaniu tekstów trzech open-source LLM. Równolegle z tym Kamruzzaman i Kim³⁸ zaproponowali technikę społecznego debiasingu, która wykorzystuje łańcuch myślowy Systemu 1 i Systemu 2, aby łagodzić działania przez dwanaście wymiarów bias w pięciu LLM (GPT-3.5, GPT-4³⁷, Llama-2-7B¹³, Mistral-7B¹⁴ i Gemini-1.0³⁹). Tutaj prompt System 1 ma na celu szybkie reagowanie LLM, natomiast prompt System 2 ma na celu nakierowanie go do bardziej przemyślanych i przemyślanych odpowiedzi. Chociaż przeprowadzono różne badania wykorzystujące inżynierię prompt do ograniczenia błędu w LLM, niewiele osób badało wpływ zmienności promptu na wyniki LLM. Aby rozwiązać ten problem, Hida i ^in.40 zbadali wrażliwość wyników dwunastu open-source LLM na wywoływanie zmienności oraz przeanalizowali ich wpływ na wydajność zadań i kompromisy uprzedzeń. Ich wyniki pokazują, że wyniki usuwania są wrażliwe na ten prompt; Mniejsze uprzedzenie w wyniku modeli prowadzi do niższej wydajności zadań. Kamboj i ^in.41 zaproponowali podejście post-processingowe mające na celu ograniczenie uprzedzeń płciowych w kontekstualizowanych osadzeniach modelu T5 (model Text-To-Text-Transfer-Transformer⁴²). Oba i ^in.43 dostarczają ręcznie tworzone tekstowe preambule jako wskazówki dla LLM, aby tłumić ich stronnicze generowanie.

Błędy poznawcze, które od dziesięcioleci są źródłem błędów diagnostycznych w opiece zdrowotnej, są narażone na wszczepienie się i wzmacnianie przez duże modele językowe (LLM) w podejmowaniu decyzji klinicznych. Aby przeciwdziałać temu ryzyku, Mahajan i ^in.44 proponują, aby strategie łagodzenia wdrażania tych technologii koncentrowały się na trzech tematach: po pierwsze, autorefleksji (iteracyjnej ponownej ocenie rezultatów), po drugie, rozumowaniu kontekstowym (uwzględniającym pełną historię pacjentów i wytycznych opartych na dowodach) oraz wreszcie na przejrzystych śladach rozumowania (wyjaśnienia procesów rozumowania udostępnione do audytu). LLM, dzięki swojej powszechnej możliwości, są obecnie szeroko wykorzystywane do generowania kodu programistycznego. Dlatego jest to istotny problem dla badaczy, aby zbadać negatywne skutki ewentualnych społecznych uprzedzeń w generowanym kodzie. Jeśli takie uprzedzenie zostanie wykryte, należy opracować odpowiednie techniki łagodzenia. W tym samym kierunku Huang i ^in.45 zaproponowali technikę oceny i łagodzenia uprzedzeń społecznych oraz przetestowali ją na pięciu szeroko stosowanych LLM. W ostatnich latach obserwujemy ogromne postępy w architekturach LLM i ich zdolności do generowania odpowiedzi brzmiących ludzko. Czy LLM mogą pełnić rolę zastępców ludzi w podejmowaniu decyzji, pozostaje niedostatecznie zbadane i wymaga dalszych badań. W tym kierunku Tjuatja i ^in.46 opracowali ramy i zbiór danych, aby zbadać zdolność LLM do udzielania odpowiedzi podobnych do człowieka w kwestionariuszu ankietowym.

Pomimo tych postępów, istnieją trzy luki badawcze. Po pierwsze, wcześniejsze badania koncentrowały się na wąskich typach uprzedzeń (np. płeć lub polityka) lub na konkretnych obszarach (np. konkretny temat). Po drugie, chociaż inżynieria prompt jest powszechna, niewiele badań analizuje wpływ systematycznej zmienności promptu na wyniki LLM. Po trzecie, ograniczone badania dotyczą debijania w wymagającym, ograniczonym zasobowo precyzyjnym dostrojeniu LLM-ów otwartych dla kluczowych dziedzin, takich jak opieka zdrowotna. Aby załagodzić te luki, przedstawiono pojedynczy protokół ograniczania i oceny uprzedzeń, który może pomóc mierzyć stereotypowe uprzedzenia w różnych architekturach modeli, uwzględniając precyzyjne dostrojenie pod ograniczeniami obliczeniowymi oraz ocenę odporności decyzji modelowych względem metryk błędu.

Protokół

Wszystkie eksperymenty prowadzone są na platformie Google Colab (A100 z 40 GB RAM). Do przeprowadzania eksperymentów zebrano klucze API (karty modelowe) Llama2-7B, Mistral-7B i Dolly-7B z Hugging Face.

Protokół podzielony jest na trzy części. Po pierwsze, zbuduj zbiór danych, który będzie podstawą do oceny uprzedzeń społecznych w LLM. Następnie zaprojektować dwanaście odrębnych wariantów promptów, zgodnych z pracami Kamruzzamana i Kima³⁸ , które badały obecność społecznych uprzedzeń w wnioskach generowanych przez LLM. Następnie dopracuj LLM na zbiorze danych bezstronnych zdań związanych z rasą, religią, płcią i zawodem, a następnie ponownie zbadaj je tymi samymi promptami, aby zbadać wpływ dostrojenia na generowane wnioski. Proponowane ramy przedstawiono na Rysunku 2.

Kuratorowanie zbioru danych
Framework korzysta z dwóch zbiorów danych. Jeden służy do wyprowadzania wniosków, a drugi do precyzyjnego dostrojenia LLM. To badanie modyfikuje StereoSet¹⁶ , tworząc nowy zbiór danych, NeutralSet, który stanowi podstawę generowania wnioskowania. LLM wykorzystywały StereoSet do przewidywania w czterech typach uprzedzeń: rasie, religii, płci i zawodzie. StereoSet składa się z dwóch podzbiorów danych: wewnątrz zdania i między zdaniami. Instancja NeutralSet pokazana jest w Tabeli 1. Podaj zdanie z kontekstu kolumny jako zapytanie do LLM i poproś o wypełnienie BLANKU dowolnym słowem z kolumn: antystereotypowy, stereotypowy lub neutralny. Stopień stronniczości w LLM można ocenić na podstawie wybranej przez niego opcji. Włączenie kolumny neutralnej do NeutralSet odróżnia ją od StereoSet. Celem dodania go do nowego zbioru danych jest zmniejszenie prawdopodobieństwa wyboru opcji stereotypowej podczas wyciągania wniosków z LLM. Słowa są dodawane w kolumnie neutralnej zgodnie z krokami wymienionymi w Algorytmie 1 (Plik Uzupełniający 1). Gdzie V_s i V_jako są odpowiednio wektorami słów stereotypowych i antystereotypowych. Następnie wybiera się słowo ze słownika, którego wektor jest najbliższy_Vn, który jest kontekstowo umieszczony pomiędzy wektorami słów stereotypowych i antystereotypowych, i to słowo dodaje się do kolumny neutralnej w wybranym wierszu. Tabela 2 podsumowuje proces tworzenia NeutralSet. Następnie modyfikuj zbiór danych¹⁷, aby precyzyjnie dostroić LLM. Zrewidowany zbiór danych zawiera 25 020 przypadków, z których każda składa się z zapytania sparowanego z bezstronną odpowiedzią społeczną, używaną do trenowania modeli. Zapytania są zaprojektowane tak, aby odpowiadać na wszystkie cztery typy uprzedzeń społecznych.

Inspirowanie LLM-ów
Zbadaj społeczne uprzedzenia w LLM, dostarczając zestaw promptów jako instrukcji wejściowych. Najpierw stwórz dwanaście typów promptów: sześć podstawowych i sześć odpowiadających wariantów debias. Treść wszystkich technik podpowiedzi została wymieniona w Tabeli 3. Prompty w tym badaniu przeszły cykliczny, sformalizowany proces tworzenia, wdrażania, refleksji i poprawek, co zaowocowało serią promptów doskonalonych przez dłuższy czas poprzez znaczne próby i błędy oraz doskonalenie. Umożliwiło to objęcie różnorodnych typów promptów, w tym podstawowych promptów, CoT oraz promptów ludzkich person. Projekty promptów i ocenianie nie były weryfikowane przez zewnętrznych ekspertów z dziedziny (np. klinicystów, specjalistów ds. społecznych lub sprawiedliwości). Tabela 4 podsumowuje różne typy promptów, podkreślając ich style rozumowania, możliwości ograniczania uprzedzeń oraz odpowiednie zastosowania, które pomagają w odpowiednim wyborze. Ocena LLM-ów w tym artykule nie zachowuje wcześniejszych informacji pomiędzy seriami lub sesjami. Jedną z rzeczy, które należy wyjaśnić w ostatecznym modelu, jest to, że każdy prompt musi być wykonywany osobno, co oznacza, że żadna historia rozmów nie jest przenoszona z jednego promptu na drugi. Taki układ zapewniał, że wcześniejsze odpowiedzi nie wpływały na kolejne wyniki. Podczas fazy precyzyjnego dostrojenia modyfikuj tylko parametry modelu na podstawie zbioru danych treningowych, zgodnie z opisem zarówno Parametrycznie Efektywnego Transferowego Uczenia (PEFT⁴⁷), jak i Kwantyzowanego Adaptacji Niskiego Rangi (QLoRA⁴⁸). Skonstruuj prompt zgodnie z poniższymi słowami:

Standardowe zadanie: Jest to technika promptingu zero-shot, w której LLM jest instruowany z minimalną ilością informacji, aby dokonać wniosku. Zadanie brzmi: "Wstaw najbardziej odpowiednie słowo do BLANK spośród podanych wyborów." Jest to wykorzystywane jako punkt odniesienia do ilościowego określenia i oceny uprzedzeń społecznych we wszystkich sześciu LLM.

Zadanie CoT: Prompt zawiera frazę "Pomyśl krok po kroku i wypełnij PUSTĄ STRONĘ. Wybierz najlepsze dopasowanie do BLANK spośród dostępnych opcji...". W tej technice promptowania LLM jest zachęcany do zaangażowania procesu poznawczego i myślenia krok po kroku przed udzieleniem odpowiedzi.

Prompty System1 i System2: Poprzez dodanie frazy "Odpowiadasz na pytania szybko...", prompty System1 kierują LLM do udzielania szybkich, intuicyjnych odpowiedzi, podobnie jak działa ludzka myśl poznawcza w System1. Z drugiej strony, prompty System2 są zaprojektowane tak, aby wywoływać bardziej przemyślane, szczegółowe, analityczne i przemyślane odpowiedzi od LLM, dodając frazę "Odpowiadasz na pytania dokładnie i celowo. Twoje odpowiedzi są przemyślane i wiarygodne "w instrukcji.

Wskazówki HP1 i HP2: Zadania zaczynają się od: "Przyjmij tożsamość osoby, która szybko odpowiada na pytania i wypełnij PUSTĄ pozycję, pozostając ściśle zgodnym z naturą tej tożsamości...". W technice promptowania HP1 LLM został poinstruowany, by przyjąć tożsamość człowieka, który reaguje szybko. Celem tego ustawienia jest sprawienie, by LLM naśladował człowieka w procesie poznania System1. Natomiast w promptie HP2 LLM jest zmotywowany do przyjęcia ludzkiej tożsamości, która myśli przemyślane i przemyślane przed odpowiedzią na pytania, co pozwala na dokładniejsze wyniki. Prompt HP2 zaczyna się od frazy: "Przyjmij tożsamość osoby, która odpowiada na pytania przemyślanie i świadomie, i wypełnij PUSTĄ pozycję, pozostając ściśle zgodną z naturą tej tożsamości...". Kluczową ideą włączenia tych podpowiedzi jest ocena zdolności LLM do pełnego naśladowania ludzkiej zdolności poznawczej.

Warianty Debiasa: Wariant debias konstruuje się przez dodanie stwierdzenia, które instruuje LLM, by decyzję podejmował neutralnie, bez stereotypowych uprzedzeń.

Ocena LLM-ów
Oceniaj sześć LLM-ów: 1) Llama-2-7B¹³, używając punktu kontrolnego meta-llama/Llama-2-7b-chat-hf na Huggingface; 2) Mistral-7B¹⁴, z punktem kontrolnym mistralai/Mistral-7B-Instruct-v0.3 na Huggingface; 3) Dolly-7B¹⁵, używając punktu kontrolnego databricks/dolly-v2-7b na Huggingface; 4) Llama2-7B z_{finetuningiem}, dopracowaną odmianą Llama-2-7B; 5) Mistral-7B_dostrojony, dopracowany wariant Mistral-7B; 6) Dolly-7B z_{finetuningiem}, dopracowaną odmianą Dolly-7B.

Wszystkie eksperymenty wykonuj na wysokiej wydajności GPU, takiej jak A100 z 40 GB pamięci lub wyższą. Aby dopracować LLM, podziel zbiór danych na zestawy treningowe, walidacyjne i testowe, stosując standardowy podział 70%:10%:20%. Aby uniknąć całkowitego ponownego trenowania modelu, w tym badaniu stosuje się konfigurację PEFT⁴⁷ do precyzyjnego dostrajania, która zamraża znaczną część parametrów modelu i dodaje jedynie kilka parametrów specyficznych dla zadania. Użyj precyzji 4-bitowej w QLoRA⁴⁸ do załadowania LLM, jeśli zasoby obliczeniowe są ograniczone. Pozwoli to na szybsze dostrajanie bez obniżenia wydajności modelu.

Aby ocenić stereotypowe uprzedzenia w LLM, użyj_wyniku uprzedzenia jako metryki. Jak pokazano w równaniu 1,_wskaźnik uprzedzenia obliczany jest jako stosunek odpowiedzi stereotypowych do łącznej liczby poprawnych odpowiedzi z LLM dla konkretnego promptu.

     (1)

Gdzie N_s, N_as i N_n oznaczają odpowiednio liczbę stereotypowych, antystereotypowych i neutralnych reakcji. Niższy wynik uprzedzenia wskazuje, że wyniki modelu są mniej stereotypowe.

Wyniki

Korzystając z wyniku uprzedzeń zdefiniowanego w Równaniu 1, systematycznie odpowiadamy na pytania badawcze i oceniamy uprzedzenia społeczne w LLM w czterech wymiarach społecznych. Statystycznie istotne obniżenia wyników błędu (BIAS) stanowią empiryczne potwierdzenie proponowanego protokołu redukcji uprzedzeń w LLM-ach dla zadań o wysokiej stawce. Aby ocenić skuteczność NeutralSet, czyli wyselekcjonowanego zbioru danych wnioskowania, zapytujemy wszystkie trzy standardowe LLM zarówno w StereoSet, jak i NeutralSet za pomocą...

Dyskusja

W tej pracy przedstawiamy skalowalny protokół redukcji uprzedzeń społecznych w LLM, który wykorzystuje Llama2-7B¹³, Mistral-7B¹⁴ oraz Dolly-7B¹⁵. Podejście to łączy inżynierię promptów HP2, usuwanie modyfikacji promptów oraz precyzyjne dopracowywanie celu, aby opracować protokół umożliwiający dalsze redukcje uprzedzeń w wynikach generowanych przez LLM w czterech głównych wymiarach społecznych: płci, rasie, zawodzie i religii. Oceniając modele podstaw...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Google Colab	Google	https://colab.research.google.com/	wykorzystywane do prowadzenia eksperymentów
Pulpit Mendeleya	Mendeley	https://www.mendeley.com/	używany do zarządzania cytowaniem i odniesieniami.