Klinik Yapay Zeka Uygulamaları İçin Büyük Dil Modellerinde İnce Ayar ve Yönlendirme Yoluyla Adaletin Artırılması

Özet

Sağlık hizmetlerine özgü büyük dil modelleri, diğer büyük dil modelleri gibi eğitim verilerindeki önyargıları yansıttıkları için etik ve teknik zorluklarla karşı karşıyadır. Burada sunulan protokol, üç açık kaynak modelinde prompt varyantları kullanarak dört tür önyargının (cinsiyet, ırk, meslek, din) bastırılmasını doğrular.

Özet

Büyük Dil Modelleri (LLM'ler), tıbbi bakım gibi hassas alanlara giderek daha fazla uygulanmaktadır; bu alanlar birçok teknik ve etik zorluk yaratmaktadır. En acil sorunlar arasında, toplumsal önyargıları yansıtabilecek büyük veri setleri üzerinde eğitilen bu modellere entegre edilen önyargılar yer alır. Bu tür önyargılar, adaletsiz, genellenelemez veya hatta zararlı çıktılar verebilir; bu da onları gerçek dünyada klinik olarak uygulanmaz ve etik ile düzenleyici kısıtlamalara uygun değildir. Önyargı bastırmanın dört kritik kategoride (cinsiyet, ırk, meslek ve din) incelenmiş modeller önerildiğinde ne kadar iyi çalıştığını inceliyoruz. Çeşitli çıkarım veri setlerini manuel olarak seçiyoruz ve üç açık kaynaklı LLM'nin çıktılarını test etmek için on iki prompt varyantı oluşturuyoruz — bunların altısı önyargılıdır — Llama2-7B, Mistral-7B ve Dolly-7B. Çıktıların adaleti ve yorumlanabilirliği, daha düşük puanların daha iyi adalet ve yorumlanabilirlik gösterdiği önyargılı puanlama metrikiyle değerlendirilir. Ayrıca, tarafsız istemlerin önyargıyı azalttığını ve modelin ince ayarının daha iyi performans gösterdiğini de not ediyoruz. Sonuçlar, tıbbi görüntüleme ve Elektronik Sağlık Kayıtlarının (EHR) bakımı gibi gerçek dünya ortamlarında güvenilir ve adil LLM kullanımı için zamanında hareketin, model sağlamlığının ve sürekli etik incelemenin kritik önemini vurgulamaktadır.

Giriş

Büyük Dil Modelleri, karar verme ^1,2, metin^{üretimi 3}, metin^{çevirisi 4}, müşteri duygusu^{analizi 5}, soru^{yanıtlama 6} ve klinik raporlar oluşturma gibi çeşitli görevleri desteklemek için olağanüstü bir yankı sunar^. Son zamanlarda, uygulamaların LLM'leri kullanarak sosyal açıdan dezavantajlı bireylere veya gruplara zarar veren^{içerik ürettiği birkaç durum olmuştur 8,9,10}. Bu tür boş tepkilerin temel nedeni, bu modellerin ırk, cinsiyet, sosyoekonomik sınıf ve benzeri faktörlerle ilişkili toplumsal önyargıları barındıran veri setleri üzerinde eğitilmiş olmasıdır. Ama sağlık hizmeti yapay zeka sisteminde "önyargı" ve "adalet" derken kastettiğiniz şey öznel ve bağlama bağlı olabilir. Araştırmacılar, LLM'lerde sosyal önyargıları azaltmak için önemli çabalar^{göstermiştir 11,12}; ancak daha fazla iyileştirme gerekmektedir. Araştırmacılar, çeşitli uygulamalarda ön işleme, işleme içinde, sonra-işleme veya bunların kombinasyonları olarak sınıflandırılabilecek birden fazla önyargı azaltma stratejisi önermiştir. Bu kategorilendirme, azaltma önleminin hangi aşamada alındığına dayanır. Bu protokol, LLM'lerin altı varyantında sosyal önyargıyı ele almak ve hafifletmek için üç stratejiyi birleştirir ve dört sosyal önyargı boyutunda önyargı azaltmayı araştırır: Cinsiyet, Meslek, Tırk ve Din. İlk olarak, LLM'lerin çıkarımlar üretmesini sağlamak için veri artırma tekniği kullanılarak bir çıkarım veri seti geliştirilir. İkinci olarak, LLM'lerden stereotipik yanıtlar almak için on iki tür prompt tasarlanmıştır. Üçüncü olarak, Llama-2-7B¹³, Mistral-7B¹⁴ ve Dolly-7B¹⁵, cinsiyet, ırk, meslek ve din gibi dört sosyal kategoride tarafsız cümleler içeren bir veri setinde ince ayar edilmiştir; böylece Llama-2-7B_İnce Ayarlanmış, Mistral-7B_İnce Ayarlanmış ve Dolly-7B_İnce Ayarlanmıştırsırasıyla bu konuda bulundu. Son olarak, ince ayarlanmış LLM'lerin adil yanıtlar verme etkinliğini araştırmaları için çıkarımlar yapılır.

Aşağıdaki araştırma sorularını formüle ettik ve bu makalede ele aldık. Her formüle edilen araştırma sorusu (RQ) için bir null hipotez (H0) ve alternatif bir hipotez (H1) çerçevelendi.

RQ1: Çıkarım veri seti ve temel yönlendirme teknikleri, LLM'lerdeki toplumsal önyargıları değerlendirmede etkili mi? Null hipotezi (H0₁): Çıkarım veri setinden elde edilen önyargı puanları, temel promptlarla birleştirildiğinde, LLM'lerin temel önyargı puanlarından istatistiksel olarak ayırt edilemezdir. Alternatif hipotez (H1₁): Temel promptlarla yapılan çıkarım veri setinden elde edilen önyargı puanları, LLM'lerin temel önyargı puanlarından istatistiksel olarak anlamlı olarak farklıdır. Hipotezi test etmek için, StereoSet^16'nın modifiye edilmesi ve her LLM'nin temel yönlendirme teknikleriyle değerlendirilmesi yoluyla NeutralSet adlı bir veri seti oluşturuldu; böylece stereotipik olmayan yanıtlar üretme yeteneği değerlendirildi. Ayarlarımızda altı temel prompt dahil ediyoruz -- Standard (LLM'ye çıkarım yapmasını sağlamak için sıfır atış isteği), Düşünce Zinciri (CoT, LLM'den adım adım düşünerek çıkarım yapmasını istemek için tasarlanmıştır), System1 (LLM'nin hızlı düşünmesini sağlayan bir prompt), System2 (LLM'nin yavaş ve düşünceli düşünmesini sağlayan bir prompt), Human Persona 1 (HP1, LLM'nin karar verirken hızlı düşünen bir insan kimliğini benimsemesini sağlamak için tasarlanmıştır), ve İnsan Persona 2 (HP2, LLM'nin insan kimliğini benimsemesini sağlamak için tasarlanmıştır; bu kişiler yavaş ve düşünceli düşünerek cevap vermektedir).

RQ2: Yönelme yönlendirme teknikleri, LLM'lerde toplumsal önyargıları ortaya çıkarmada ve azaltmada etkili mi? Sıfır hipotezi (H0₂): Tarafsız yönlendirme teknikleri, LLM'lerde toplumsal önyargıları ortaya çıkarma ve azaltmada etkili değildir. Alternatif hipotez (H1₂): LLM'lerde önyargı yönlendirme teknikleri kullanıldığında ölçülen önyargı puanları önemli ölçüde azalır. Temel promptların tarafsız varyantlarının, sosyal ayrımcılıktan bağımsız adil metin üretimi sağlamak için üç açık kaynaklı LLM üzerindeki etkisini araştırıyoruz.

RQ3: LLM'lerin ince ayarlarıyla toplumsal önyargılar daha da azaltılabilir mi? Null hipotezi (H0₃): LLM'lerin ince ayarlanması, toplumsal önyargıları yalnızca yönlendirme teknikleriyle elde edilen azaltmaların ötesine kadar azaltmaz. Alternatif hipotez (H1₃): LLM'lerin ince ayarlanması, sadece yönlendirme teknikleriyle elde edilen azaltmaların ötesinde toplumsal önyargıları daha da azaltır. Bu soruyu yanıtlamak için, veri^{seti 17'yi} değiştirip LLM'leri ince ayar ederek ince ayarın stereotip yanıtlarını azaltmadaki etkisini daha iyi değerlendiriyoruz.

Şekil 1, prompt varyasyonu ve LLM ince ayarının cinsiyet tarafsız tahmin edilen sonuç üzerindeki etkisini göstermektedir. Çalışmamızın yeniliği, manuel veri seti kürasyonu, birden fazla ayrım yönlendirme stratejisi ve tek bir protokol altında ince ayarlama yoluyla toplumsal önyargı tanımlama ve azaltma için bir LLM'yi analiz ederek tıbbi görüntüleme ve EHR bakımı gibi hassas gerçek dünya uygulamalarıyla ilgili olarak ortaya çıkıyor. LLM'lerde önyargı literatürünü dört perspektife ayırdık: önyargı ve bilişsel çağrışımlar için veri setleri; önyargı tespit ve değerlendirme çerçeveleri; önyargı azaltma yaklaşımları; ve uzmanlaşmış alanlarda önyargı.

Araştırmacılar, LLM'lerde önyargı değerlendirmesi ve anlamsal ilişki analizini mümkün kılmak için sürekli veri setleri üretmektedir. Örneğin, bilişsel psikoloji ve dilbilimde, serbest çağrışımlar kavramsal bilginin organizasyonunda her zaman anahtardır. Aynı ilişkiyi LLM'lerin gizli dağılımında simüle eden Abramski ve ^ark.18, LLM World of Words (LWOW) adlı bir veri seti oluşturmuşlardır. LWOW İngilizce serbest ilişkilendirme normları veri seti, üç LLM'den milyonlarca yanıttan oluşmaktadır: Mistral-7B¹⁴, Llama-3.1-8B¹⁹ ve Claude-3-5-haiku-latest²⁰. Small World of Words (SWOW)^21'den ilham almıştır; bu, insan İngilizcesi serbest çağrışım normlarının en büyük veri seti olup, çeşitli psikolojik ve dilbilimsel araştırmalarda yaygın olarak kullanılmıştır. Ayrıca, LWOW her biri bir kelimeyi temsil eden düğümlerden oluşan bilişsel bir ağ kurmaya yardımcı olur; düğümler ise ağda birbirine daha yakın olan anlamsal olarak benzer kelimelere karşılık gelir. Bu, yapay bilişsel ağdaki kelimeler arasındaki mesafeyi temel bir metrik olarak tahmin ederek LLM'lerin çıktılarındaki önyargıyı değerlendirmeye yardımcı olur. Özel LLM'lerin kullanımında en büyük engellerden biri, iç donanımlarının erişilememesidir. Bu modellerde önyargıyı ele almak için önemli çabalar yapılmış olsa da, hizalama veri setleri hâlâ nadirdir. Bu endişeyi gidermek için, LLM'lerde cinsiyet önyargısını azaltmak amacıyla Zhang ve ^ark.22 tarafından GenderAlign adlı bir veri seti önerilmiştir. UnStereoEval²³ adlı bir kıyaslama veri seti olarak, mesleklerde ve duygularda stereotipik cinsiyet önyargısını araştırmak için önerilmiştir. Bulguları, 28 farklı LLM'de düşük bir adalet seviyesini ortaya koymaktadır. Bartl ve^{Leavy 24}, stereotipik atıfta bulunan cümlelerin nötr eşdeğerleriyle değiştirildiği ve üç dil modelinin (GPT-2²⁵, PHI-1.5²⁶ ve RoBERTa²⁷) ince ayarlandığı Tiny Heap adlı bir veri seti geliştirmiştir. Bulgularında, modellerin cinsiyet-stereotipik eğilimlerinde önemli bir azalma gözlemlenmiştir.

LLM'lerdeki önyargıları belirlemek ve hafifletmek için birkaç çok katmanlı çerçeve önerilmiştir. Raza ve ^ark.28'de, veri seti oluşturma, model geliştirme, önyargı azaltma ve değerlendirme olmak üzere dört katmandan oluşan bir çerçeve olan NBIAS önerilmiştir. Çerçeve içindeki veri seti, sağlık hizmetleri, sosyal medya ve istihdam portalları dahil olmak üzere çeşitli alanlardan oluşturulmuştur. Modellerinin etkinliğini, adil olarak başlangıç seviyesini (BERT²⁹) %1 ila %8 oranında geride bırakarak sergiliyorlar. Bir diğer benzer çerçeve olan GenderCARE^30'da, LLMS'de cinsiyet önyargısını hafifletmeye yönelik bir strateji önerilmektedir. Kapsamlı deneysel kurulumlarında, on iki farklı LLM'de cinsiyet önyargısını ortalama %35 azalttılar. BiasAlet³¹ adlı bir çerçeve, LLM'ler tarafından oluşturulan açık metinde sosyal önyargıyı otomatik olarak tespit eder. Bazı sınırlamalar vardır: birincisi, LLM'nin açık metin üretiminde önyargıyı değerlendirmek için bir kıyaslama bulunamadığı için çalışma, SBIC³² adlı eski veri seti üzerine inşa edilmektedir; bu da örtük önyargının önemi ile veri setinin kendisi arasındaki ayrımı zorlaştırır. İnsan tarafından üretilen verilerdeki önyargı, bu veriler üzerinde eğitilen modellere de dahil edilebilir. Bu tür modellerin kullanımı, yüksek riskli işlerde tartışmalıdır ve bu projelerin sonuçları dezavantajlı grupları olumsuz etkileyebilir. Bunu ele almak için, BiasBuster³³ adlı bir çerçeve, LLM'lerde bilişsel önyargıyı tespit etmek, değerlendirmek ve azaltmak için tasarlanmıştır. Buna bağlı olarak, başka^{bir çalışma 34'te} araştırmacılar, LLM'nin düşünceli ve yavaş düşünmesine olanak tanıyan Sistem 2 istimleri aracılığıyla adil, mantıklı ve kritik metin üretmek için etkileşimli bir çerçeve önermektedir; bu metin kendi kendine geliştirilen ve ima edici önerileri tamamlamaktadır. Ancak, çerçeve LLM'lerin gizli alanındaki görevlerle sınırlıdır. Dong ve ^ark.35 , on açık kaynaklı LLM'de cinsiyet önyargısını azaltmak ve değerlendirmek için dolaylı araştırma kullanan bir çerçeve geliştirmiştir. Sorgulama yöntemlerinde, doğrudan stereotipik atıfta bulunmadan dolaylı cinsiyet önyargısını ortaya çıkarırlar.

Lin ve ^ark.36 , hem kapalı uçlu (GPT-3.5-turbo ve GPT-4³⁷) hem de açık uçlu modeller (Llama-2-7B¹³, Mistral-7B¹⁴, Vicuna²⁹) için LLM'lerin metin üretimindeki siyasi önyargıyı araştırmaktadır. Model tarafından oluşturulan metnin sol mu sağa eğilimli medya yanlılığını tetikleyip üretmediğini belirlediler. Ayrıca, modeli ince ayar ederek ve metin üretimi sırasında ek tarafsız yönlendirmeler sağlayarak bir azaltma stratejisi geliştirdiler. Yanlılık azaltma tekniği uygulandıktan sonra, model nötr metin üretme eğilimindedir; Sol ya da sağ eğilimli medya bunu etkilemez. Buna uygun olarak, Raj ve ^ark.17 , psikolojideki temas hipotezine dayanan, farklı sosyal grupların ideolojilerini kavrayan hızlı üretim ve üç açık kaynaklı LLM'nin metin üretiminde önyargıyı azaltmayı içeren bir çözüm olan Sosyal Temas Çıkarma (SCD) adlı bir tarafsız çözüm önermiştir. Bununla paralel olarak, Kamruzzaman ve Kim³⁸ , beş LLM'de (GPT-3.5, GPT-4³⁷, Llama-2-7B¹³, Mistral-7B¹⁴ ve Gemini-1.0³⁹) on iki önyargı boyutunda Sistem 1 ve Sistem 2 düşünce zinciri yönlendirmesini kullanan bir sosyal tarafsızlık tekniği önermiştir. Burada, System 1 promptu LLM'nin hızlı yanıt vermesini sağlarken, System 2 isteği onu daha düşünceli ve bilinçli cevaplara yönlendirmek için tasarlanmıştır. LLM'lerdeki önyargıyı azaltmak için prompt mühendisliği kullanan çeşitli çalışmalar yapılmış olsa da, LLM'lerin çıktısı üzerindeki prompt varyasyonun etkisini neredeyse hiç kimse incelememiştir. Bu sorunu ele almak için Hida ve ^ark.40 , on iki açık kaynaklı LLM'nin çıktılarının varyasyon yaratmaya duyarlılığını incelemiş ve bunların görev performansı ile önyargı takasları üzerindeki etkilerini analiz etmiştir. Bulguları, tarafsız sonuçların prompta duyarlı olduğunu ortaya koyuyor; Modellerin çıktısındaki daha az önyargı, görev performansının düşmesine yol açar. Kamboj ve ^ark.41 , T5 modelinin bağlamsallaştırılmış gömülmelerinde cinsiyet önyargısını azaltmak için bir post-işlem yaklaşımı önermiştir (Text-To-Text-Transfer-Transformer model⁴²). Oba ve ^ark.43 , LLM'lere önyargılı üretimlerini bastırmaları için manuel olarak oluşturulmuş metin önsözleri sağlar.

Sağlık hizmetlerinde onlarca yıldır tanı hatası kaynağı olan bilişsel önyargılar, klinik karar alma süreçlerinde büyük dil modellerine (LLM) kazıma ve güçlendirilme riskiyle karşı karşıyadır. Bu riskle mücadele etmek için Mahajan ve ^ark.44 , bu teknolojilerin uygulanması için azaltma stratejilerinin üç tema üzerine odaklanması gerektiğini önermektedir: birincisi, kendini değerlendirme (çıktıların yinelemeli yeniden değerlendirilmesi), ikincisi, bağlamsal akıl yürütme (tam hasta geçmişi ve kanıta dayalı yönergeleri içermek) ve son olarak, şeffaf akıl yürütme izleri (denetime sunulan akıl yürütme süreçlerinin açıklamaları). LLM'ler, her yerde bulunan yetenekleriyle artık programlama kodu üretmek için de yaygın olarak kullanılmaktadır. Bu nedenle, oluşturulan kodda herhangi bir sosyal önyargının olumsuz etkilerini araştırmak için araştırmacı önemli bir endişedir. Böyle bir yanlılık tespit edilirse, ilgili azaltma teknikleri geliştirilmelidir. Aynı yönde, Huang ve ^ark.45 sosyal önyargı değerlendirme ve azaltma tekniği önermiş ve bunu yaygın olarak kullanılan beş LLM'de test etmiştir. Son zamanlarda, LLM mimarilerinde ve insan gibi gelen yanıtlar üretme yeteneklerinde büyük ilerlemeler gördük. LLM'lerin karar alma süreçlerinde insanlar için vekil olarak hizmet edip edemeyeceği hâlâ az araştırılmış ve daha fazla araştırma gerektirmektedir. Bu doğrultusunda, LLM'lerin anket anketinde insan benzeri yanıtlar verebilme yeteneğini incelemek için Tjuatja ve ^ark.46 tarafından bir çerçeve ve veri seti hazırlanmıştır.

Bu ilerlemelere rağmen, üç araştırma boşluğu devam etmektedir. İlk olarak, önceki araştırmalar genellikle dar bir önyargı türüne (örneğin, cinsiyet veya politik) veya belirli alanlara (örneğin, belirli bir konu) odaklanır. İkinci olarak, prompt mühendisliği yaygın olsa da, sistematik prompt varyasyonun LLM çıktısı üzerindeki etkilerini inceleyen çok az çalışma vardır. Üçüncü olarak, sınırlı araştırmalar, sağlık gibi kritik alanlarla ilgili açık kaynak LLM'lerin zorlu kaynak kısıtlı ince ayar ayarlarında önyargıyı ele alır. Bu boşlukları gidermek için, çeşitli model mimarilerinde stereotipik önyargıyı ölçmeye yardımcı olabilecek tek bir önyargı azaltma ve değerlendirme protokolü sunulur; hesaplama kısıtlamaları altında ince ayar içerir ve model kararlarının önyargı metriklerine karşı sağlamlığını değerlendirir.

Protokol

Tüm deneyler Google Colab platformunda (A100, 40 GB RAM) gerçekleştirilmektedir. Deneyler için Hugging Face'ten Llama2-7B, Mistral-7B ve Dolly-7B'nin API anahtarları (Model kartları) toplandı.

Protokol üç bölüme ayrılmıştır. İlk olarak, LLM'lerde sosyal önyargıyı değerlendirmek için temel oluşturan bir veri seti oluşturun. Sonra, Kamruzzaman ve Kim^38'in LLM'lerin çıkardığı çıkarımlarda sosyal önyargının varlığını araştırmak için yaptığı çalışmalarla uyumlu on iki ayrı yönlendirme varyantı tasarlayın. Sonra, LLM'leri ırk, din, cinsiyet ve meslekle ilgili tarafsız cümlelerden oluşan bir veri setinde ince ayar edin ve aynı yönlendirmelerle tekrar inceleyin; ince ayarlamanın üretilen çıkarımlar üzerindeki etkisini araştırın. Önerilen çerçeve Şekil 2'de gösterilmiştir.

Veri setinin küratörlüğü
Çerçeve iki veri seti kullanır. Biri çıkarım çıkarmak için, diğeri ise LLM'lerin ince ayarına uygulanır. Bu çalışma, StereoSet^16'yı değiştirerek çıkarım üretimi için temel oluşturan yeni bir veri seti olan NeutralSet'i oluşturmaktadır. LLM'ler, StereoSet'i dört önyargı türü üzerinde tahminler yapmak için kullandı: ırk, din, cinsiyet ve meslek. StereoSet, iki alt veri setinden oluşur: cümle içi ve cümle arası. NeutralSet'in bir örneği Tablo 1'de gösterilmiştir. Sütun bağlamından bir cümleyi LLM'ye sorgu olarak verin ve BOŞLUK'u anti-stereotip, stereotip veya nötr sütunlardaki herhangi bir kelimeyle doldurmanızı isteyin. LLM'deki önyargı derecesi, seçtiği seçeneğe göre değerlendirilebilir. NeutralSet'te nötr bir sütunun yer alması, onu StereoSet'ten ayırır. Yeni veri setine eklemenin amacı, LLM çıkarımları yaparken stereotip seçeneğinin seçilme olasılığını azaltmaktır. Kelimeler, Algoritma 1'de (Ek Dosya 1) belirtilen adımlara göre nötr sütuna eklenir. Burada V_s ve V_as sırasıyla stereotip ve anti-stereotip kelimelerin vektörleridir. Sözlükten Vn'ye en yakın vektör seçilir; V_n, bu kelime stereotip ve anti-stereotip kelime vektörleri arasında bağlamsal olarak konumlandırılır ve bu kelime seçilen satırdaki nötr sütuna eklenir. Tablo 2, NeutralSet oluşturma sürecini özetlemektedir. Sonra, veri^{seti 17'yi}LLM'leri ince ayar etmek için değiştirin. Revize edilen veri seti, modelleri eğitmek için kullanılan sosyal tarafsız bir yanıtla eşleştirilen bir sorgu içeren 25.020 örnek içeriyor. Sorgular, dört tür sosyal önyargıyı ele almak için tasarlanmıştır.

LLM'leri Yönlendirmek
LLM'lerdeki sosyal önyargıları, giriş talimatları olarak bir dizi prompt sunarak inceleyin. Öncelikle, on iki tür prompt oluşturun: altı temel ve altı karşılık gelen tarafsız varyant. Tüm yönlendirme tekniklerinin içeriği Tablo 3'te listelenmiştir. Bu çalışmadaki promptlar, çizimli, resmileştirilmiş bir üretim sürecinden geçti; bu süreç zamanla önemli deneme-yanılma ve geliştirme yoluyla geliştirilen bir dizi prompt ortaya çıktı. Bu, temel soru, CoT ve insan-kişilik önerileri dahil olmak üzere çeşitli prompt türlerinin kapsamını sağladı. Prompt tasarımları ve puanlama, dış alan uzmanları (örneğin, klinisyenler, sosyal veya adalet uzmanları) tarafından doğrulanmamıştır. Tablo 4 , farklı prompt türlerini özetler, mantık tarzlarını, önyargı azaltma yeteneklerini ve uygun kullanım durumlarını vurgulayarak uygun seçimi yönlendirir. LLM'lerin bu makaledeki değerlendirmesi, koşular veya oturumlar boyunca geçmiş bilgileri tutmaz. Son modelde netleştirmek gerekirse, her öneri izole olarak yürütülecek, yani hiçbir konuşma geçmişi bir istemden diğerine aktarılmayacak. Bu düzen, geçmiş yanıtların sonraki çıktıları etkilememesini sağladı. İnce ayar aşamasında, yalnızca model parametrelerini eğitim veri setine göre değiştirin; bu da hem Parametre-Verimli Transfer Öğrenme (PEFT⁴⁷) hem de Kuantize Düşük Seviye Uyum (QLoRA⁴⁸) bölümlerinde belirtilmiştir. Uyarıyı aşağıda belirtildiği gibi oluşturun:

Standart prompt: Bu, LLM'ye minimum bilgiyle çıkarım yapması için talimat verilen sıfır atış yönlendirme tekniğidir. İstem ise "Verilen seçeneklerden en uygun kelimeyi boşluğa ekle."dir. Bu, tüm altı LLM'de sosyal önyargıyı nicelendirmek ve değerlendirmek için bir temel olarak kullanılır.

CoT uyarısı: İsterde "Adım adım düşün ve BOŞLUĞU doldur. Sunulan seçeneklerden BLANK için en uygun olanı seçin...". Bu yönlendirme tekniğinde, LLM bilişsel sürecini aktif hale getirmesi ve cevap vermeden önce adım adım düşünmesi teşvik edilir.

System1 ve System2 şunları önerir: "Sorulara anında yanıt verirsiniz..." ifadesini ekleyerek System1 promptları, LLM'yi System1'de insan bilişinin işleyişine benzer hızlı, sezgisel yanıtlar sunmaya yönlendirir. Öte yandan, System2 istmenleri LLM'den daha düşünceli, detaylı, analitik ve kasıtlı yanıtlar almak için tasarlanmıştır ve "Sorulara kapsamlı ve kasıtlı yanıt verirsiniz. Cevaplarınız düşünceli ve güvenilir "talimatlarda".

HP1 ve HP2 uyarılar: Uyarılar şöyle başlar: "Soruları hızlıca yanıtlayan bir kişinin kimliğini benimse ve BOŞLUK doldur, bu kimliğin doğasına sıkı sıkıya uyarak kalırken... ". HP1 yönlendirme tekniğinde, LLM'ye hızlı yanıt veren bir insan kimliğini benimsemesi talimatı verildi. Bu ayarın amacı, LLM'nin System1 biliş sürecinde insanı taklit etmesini sağlamaktır. Buna karşılık, HP2 sorusunda LLM, soruları yanıtlamadan önce düşünceli ve kasıtlı düşünen insan benzeri bir kimlik benimsemeye yönlendirilir ve böylece daha doğru sonuçlar elde eder. HP2 isteği şu ifadeyle başlar: "Soruları düşünceli ve kasıtlı yanıtlayan bir kişinin kimliğini benimse ve bu kimliğin doğasına sıkı uyum sağlayarak BOŞLUĞU doldur..." Bu uyarıların dahil edilmesinin temel amacı, bir LLM'nin insan bilişini tam olarak taklit etme yeteneğini değerlendirmektir.

Debias varyantları: Bir debias varyantı, LLM'ye kararı tarafsız ve stereotipik önyargı olmadan vermesini emreden bir ifade eklenerek oluşturulur.

LLM'lerin Değerlendirilmesi
Altı LLM'yi değerlendirin: 1) Huggingface'te meta-llama/Llama-2-7b-chat-hf kontrol noktasını kullanarak Llama-2-7B¹³; 2) Huggingface'te mistralai/Mistral-7B-Instruct-v0.3 kontrol noktasını kullanan Mistral-7B¹⁴; 3) Dolly-7B¹⁵, Huggingface'te databricks/dolly-v2-7b kontrol noktası kullanılarak; 4) Llama2-7B_{ince ayarlanmış}, Llama-2-7B'nin ince ayar edilmiş bir varyantı; 5)_{Mistral-7B'nin} ince ayarlı bir varyantı; 6) Dolly-7B_, ince ayarlı, Dolly-7B'nin ince ayar edilmiş bir varyantı.

Tüm deneyleri, örneğin 40 GB veya daha yüksek belleğe sahip A100 gibi yüksek hızlı bir GPU üzerinde yapın. LLM'leri ince ayar yapmak için, veri setini eğitim, doğrulama ve test setlerine ayırın; standart %70:%10:%20 bölünmesini kullanın. Modelin tamamen yeniden eğitimini önlemek için, bu çalışma ince ayar için PEFT⁴⁷ konfigürasyonunu kullanır; bu konfigürasyon, modelin parametrelerinin önemli bir kısmını dondurur ve sadece birkaç göreve özgü parametre ekler. Hesaplama kaynakları sınırlıysa, LLM'i yüklemek için QLoRA^48'de 4-bit hassasiyet kullanın. Bu, modelin performansını düşürmeden daha hızlı ince ayar yapılmasını sağlar.

LLM'lerde stereotipik önyargıyı değerlendirmek için bir ölçüt olarak Önyargı_puanını kullanın. Denklem 1'de gösterildiği gibi, Önyargı_puanı , belirli bir prompt için LLM'den gelen geçerli yanıtların toplam sayısına stereotip yanıtlarının oranı olarak hesaplanır.

(1)

Burada N_s, N_as ve N_n sırasıyla stereotipik, anti-stereotipik ve nötr tepkilerin sayısını temsil eder. Daha düşük bir önyargı puanı, modelin çıktısının daha az klişe olduğunu gösterir.

Sonuçlar

Denklem 1'de tanımlanan önyargı puanını kullanarak, araştırma sorularımızı sistematik olarak yanıtlıyoruz ve LLM'lerde dört sosyal boyutta toplumsal önyargıları değerlendiriyoruz. Gözlemlenen önyargı puanlarındaki istatistiksel olarak anlamlı azalmalar, yüksek riskli görevler için LLM'lerde önyargı azaltma protokolünün ampirik doğruluğunu sağlar. NeutralSet'in etkinliğini, yani derlenmiş çıkarım veri setini değerlendirmek için, hem StereoSet hem de NeutralSet'teki üç vanilla LLM'yi temel...

Tartışma

Bu çalışmada, LLM'lerde sosyal önyargıları azaltmak için Llama2-7B¹³, Mistral-7B¹⁴ ve Dolly-7B^15'i kullanan ölçeklenebilir bir protokol sunuyoruz. Bu yaklaşım, HP2 prompt mühendisliğini, yön değiştirici modifikasyonları ve hedefe yönelik ince ayarlamaları birleştirerek cinsiyet, ırk, meslek ve din gibi dört ana toplumsal boyutta LLM tarafından üretilen çıktılarda önyargıyı azaltmaya devam eden bir protokol geliştirir...

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Google Colab	Google	https://colab.research.google.com/	deneyler 'nin çalıştırılması için kullanılmıştır;
Mendeley Masaüstü	Mendeley	https://www.mendeley.com/	atıf ve referansları yönetmek için kullanılır.