Name: ベクトル埋め込みによる大規模言語モデルの拡張によるドメイン固有の応答性の向上 (動画) | JoVE Journal
Uploaded: 2024-12-06T12:20:00.000+00:00
Duration: 3 min 14 s
Description: 学ぶベクトル埋め込みによる大規模言語モデルの拡張手法。医療応用における応答品質向上と複数モデルの性能比較コードを提供し、研究者の自然言語処理タスクの効率化に貢献します。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

<meta charset="utf8"></head><body>科学原稿を大規模言語モデルに統合するための埋め込み手法

<ol><li>Singhal, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Large+language+models+encode+clinical+knowledge%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Large language models encode clinical knowledge.</a> Nature. 620 (7972), 172-180 (2023).</li>
<li>Gilson, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((How+does+ChatGPT+perform+on+the+United+States+medical+licensing+examination%3F+The+implications+of+large+language+models+for+medical+education+and+knowledge+assessment%5BTitle%5D)+AND+%22JMIR+Med+Educ%22%5BJournal%5D)">How does ChatGPT perform on the United States medical licensing examination? The implications of large language models for medical education and knowledge assessment.</a> JMIR Med Educ. 9 (1), e45312(2023).</li>
<li>Guerra, G. A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((GPT-4+artificial+intelligence+model+outperforms+ChatGPT%2C+medical+students%2C+and+neurosurgery+residents+on+neurosurgery+written+board-like+questions%5BTitle%5D)+AND+%22World+Neurosurg%22%5BJournal%5D)">GPT-4 artificial intelligence model outperforms ChatGPT, medical students, and neurosurgery residents on neurosurgery written board-like questions.</a> World Neurosurg. 179, e160-e165 (2023).</li>
<li>Terwiesch, C. Would Chat GPT3 get a Wharton MBA? A prediction based on its performance in the Operations Management course. , 
 <a target="_blank" href="https://mackinstitute.wharton.upenn.edu/wp-content/uploads/2023/01/Christian-Terwiesch-Chat-GTP.pdf">https://mackinstitute.wharton.upenn.edu/wp-content/uploads/2023/01/Christian-Terwiesch-Chat-GTP.pdf</a> (2023).</li>
<li>Weizenbaum, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ELIZA-a+computer+program+for+the+study+of+natural+language+communication+between+man+and+machine%5BTitle%5D)+AND+%22Communications+of+the+ACM%22%5BJournal%5D)">ELIZA-a computer program for the study of natural language communication between man and machine.</a> Communications of the ACM. 9 (1), 36-45 (1966).</li>
<li>Wu, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+brief+overview+of+ChatGPT%3A+The+history%2C+status+quo+and+potential+future+development%5BTitle%5D)+AND+%22IEEE%2FCAA+Journal+of+Automatica+Sinica%22%5BJournal%5D)">A brief overview of ChatGPT: The history, status quo and potential future development.</a> IEEE/CAA Journal of Automatica Sinica. 10 (5), 1122-1136 (2023).</li>
<li>Touvron, H., et al. Llama 2: Open foundation and fine-tuned chat models. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2307.09288">http://arxiv.org/abs/2307.09288</a> (2023).</li>
<li>Huang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+on+hallucination+in+large+language+models%3A+Principles%2C+taxonomy%2C+challenges%2C+and+open+questions%5BTitle%5D)+AND+%22arXiv+%5Bcs.CL%5D%22%5BJournal%5D)">A survey on hallucination in large language models: Principles, taxonomy, challenges, and open questions.</a> arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2311.05232">http://arxiv.org/abs/2311.05232</a> (2023).</li>
<li>Thirunavukarasu, A. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Large+language+models+in+medicine%5BTitle%5D)+AND+%22Nature+Med%22%5BJournal%5D)">Large language models in medicine.</a> Nature Med. 29 (8), 1930-1940 (2023).</li>
<li>Lewis, P., et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2005.11401">http://arxiv.org/abs/2005.11401</a> (2020).</li>
<li>Li, J., Yuan, Y., Zhang, Z. Enhancing LLM factual accuracy with RAG to counter hallucinations: A case study on domain-specific queries in private knowledge-bases. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2403.10446">http://arxiv.org/abs/2403.10446</a> (2024).</li>
<li>Zhang, P., Xiao, S., Liu, Z., Dou, Z., Nie, J. -Y. Retrieve anything to augment large language models. arXiv [cs.IR]. , 
 <a target="_blank" href="http://arxiv.org/abs/2310.07554">http://arxiv.org/abs/2310.07554</a> (2023).</li>
<li>Ling, C., et al. Domain specialization as the key to make large language models disruptive: A comprehensive survey. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2305.18703">http://arxiv.org/abs/2305.18703</a> (2023).</li>
<li>Ram, O., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((In-Context+retrieval-augmented+language+models%5BTitle%5D)+AND+%22Trans+Assoc+Comput+Linguist%22%5BJournal%5D)">In-Context retrieval-augmented language models.</a> Trans Assoc Comput Linguist. 11, 1316-1331 (2023).</li>
<li>Cormode, G. Sequence distance embeddings. , The University of Warwick. 
 <a target="_blank" href="https://wrap.warwick.ac.uk/61310/7/WRAP_THESIS_Cormode_2003.pdf">https://wrap.warwick.ac.uk/61310/7/WRAP_THESIS_Cormode_2003.pdf</a> (2003).</li>
<li>Guo, Z., et al. Evaluating large language models: A comprehensive survey. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2310.19736">http://arxiv.org/abs/2310.19736</a> (2023).</li>
<li>Chicago Consensus Working Group. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+Chicago+Consensus+Guidelines+for+peritoneal+surface+malignancies%3A+Introduction%5BTitle%5D)+AND+%22Cancer%22%5BJournal%5D)">The Chicago Consensus Guidelines for peritoneal surface malignancies: Introduction.</a> Cancer. 126 (11), 2510-2512 (2020).</li>
<li>Wang, G., et al. OpenChat: Advancing open-source language models with mixed-quality data. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2309.11235">http://arxiv.org/abs/2309.11235</a> (2023).</li>
<li>Jiang, A. Q., et al. Mistral 7B. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2310.06825 ">http://arxiv.org/abs/2310.06825 </a> (2023).</li>
<li>Megahed, F. M., et al. AI and the future of work in statistical quality control: Insights from a first attempt to augmenting ChatGPT with an SQC knowledge base (ChatSQC). arXiv [cs.HC]. , 
 <a target="_blank" href="http://arxiv.org/abs/2308.13550">http://arxiv.org/abs/2308.13550</a> (2023).</li>
<li>Wang, Y., Ma, X., Chen, W. Augmenting black-box LLMs with medical textbooks for clinical question answering. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2309.02233">http://arxiv.org/abs/2309.02233</a> (2023).</li>
<li>Dodge, J., et al. Measuring the carbon intensity of AI in cloud instances. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDodge%2C+J+%22FACCT+2022%22">FACCT 2022</a>. , (2022).</li>
<li>Samsi, S., et al. From words to watts: Benchmarking the energy costs of large language model inference. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2310.03003">http://arxiv.org/abs/2310.03003</a> (2023).</li>
<li>Khene, Z. -E., Bigot, P., Mathieu, R., Rouprêt, M., Bensalah, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Development+of+a+personalized+chat+model+based+on+the+European+association+of+urology+oncology+guidelines%3A+Harnessing+the+power+of+generative+artificial+intelligence+in+clinical+practice%5BTitle%5D)+AND+%22Eur+Urol+Oncol%22%5BJournal%5D)">Development of a personalized chat model based on the European association of urology oncology guidelines: Harnessing the power of generative artificial intelligence in clinical practice.</a> Eur Urol Oncol. 7 (1), 160-162 (2024).</li>
<li>Kresevic, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Optimization+of+hepatological+clinical+guidelines+interpretation+by+large+language+models%3A+a+retrieval+augmented+generation-based+framework%5BTitle%5D)+AND+%22NPJ+Digit+Med%22%5BJournal%5D)">Optimization of hepatological clinical guidelines interpretation by large language models: a retrieval augmented generation-based framework.</a> NPJ Digit Med. 7 (1), 102(2024).</li>
<li>Ge, J., et al. Development of a liver disease-specific large language model chat interface using retrieval augmented generation. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGe%2C+J+%22medRxiv%22">medRxiv</a>. , (2023).</li>
<li>Rule-augmented artificial intelligence-empowered systems for medical diagnosis using large language models. Panagoulias, D. P., et al. 2023 IEEE 35th International Conference on Tools with Artificial Intelligence (ICTAI), , 70-77 (2023).</li>
<li>Panagoulias, D. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmenting+large+language+models+with+rules+for+enhanced+domain-specific+interactions%3A+The+case+of+medical+diagnosis%5BTitle%5D)+AND+%22Electronics%22%5BJournal%5D)">Augmenting large language models with rules for enhanced domain-specific interactions: The case of medical diagnosis.</a> Electronics. 13 (2), 320(2024).</li>
<li>Jin, Q., et al. Matching patients to clinical trials with large language models. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2307.15051">http://arxiv.org/abs/2307.15051</a> (2023).</li>
<li>Gupta, S. K., et al. PRISM: Patient records interpretation for semantic clinical trial matching using large language models. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2404.15549">http://arxiv.org/abs/2404.15549</a> (2024).</li>
<li>Hendrycks, D., et al. Measuring massive multitask language understanding. arXiv [cs.CY]. , 
 <a target="_blank" href="http://arxiv.org/abs/2009.03300">http://arxiv.org/abs/2009.03300</a> (2020).</li>
<li>Lin, S., Hilton, J., Evans, O. TruthfulQA: Measuring how models mimic human falsehoods. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2109.07958">http://arxiv.org/abs/2109.07958</a> (2021).</li>
<li>Bommasani, R., Liang, P., Lee, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Holistic+evaluation+of+language+models%5BTitle%5D)+AND+%22Ann+N+Y+Acad+Sci%22%5BJournal%5D)">Holistic evaluation of language models.</a> Ann N Y Acad Sci. 1525 (1), 140-146 (2023).</li>
<li>Banerjee, D., Singh, P., Avadhanam, A., Srivastava, S. Benchmarking LLM powered Chatbots: Methods and Metrics. arXiv [cs.CL]. , 
 <a target="_blank" href="http://arxiv.org/abs/2308.04624">http://arxiv.org/abs/2308.04624</a> (2023).</li>
<li>Papineni, K., Roukos, S., Ward, T., Zhu, W. -J. Bleu. Proceedings of the 40th Annual Meeting on Association for Computational Linguistics - ACL '02. , (2001).</li>
<li>Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., Bowman, S. R. Glue: A multi-task benchmark and analysis platform for natural language understanding. , 
 <a target="_blank" href="http://arxiv.org/abs/1804.07461">http://arxiv.org/abs/1804.07461</a> (2019).</li>
<li>Johnson, D., et al. Assessing the accuracy and reliability of AI-generated medical responses: An evaluation of the chat-GPT model. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aJohnson%2C+D+%22Res+Sq%22">Res Sq</a>. , (2023).</li>
<li>Lin, C. -Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ROUGE%3A+A+package+for+automatic+evaluation+of+summaries%5BTitle%5D)+AND+%22Text+Summarization+Branches+Out%22%5BJournal%5D)">ROUGE: A package for automatic evaluation of summaries.</a> Text Summarization Branches Out. , 74-81 (2004).</li>
<li>Chen, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluating+the+ChatGPT+family+of+models+for+biomedical+reasoning+and+classification%5BTitle%5D)+AND+%22J+Am+Med+Inform+Assoc%22%5BJournal%5D)">Evaluating the ChatGPT family of models for biomedical reasoning and classification.</a> J Am Med Inform Assoc. 31 (4), 940-948 (2024).</li>
</ol>

<table><tbody><tr><td>pip3 バージョン 22.0.2&nbsp;</td><td></td><td></td><td></td></tr><tr><td>Python バージョン 3.10.12</td><td></td><td></td><td></td></tr></tbody></table>

ベクトル埋め込みによる大規模言語モデルの拡張によるドメイン固有の応答性の向上

Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness

シカゴ・コンセンサス・ワーキング・グループの管理ガイドラインからの22の出版物のセットは、ベースのLlama-7bモデル17を補強するために使用された。ドキュメントは、Llama-Index ツールを使用してベクトル インデックスに変換され、Llama-2-7b-CCWG-Embedded が生成されました。GPT-3.5やGPT-4などの人気のあるOpenAIモデルも同様の方法で拡張され、GPT-XX-CCWG-Embedモデルが作成されました。さまざまな腹膜表面悪性腫瘍の管理に関連する知識を評価するために、合計20問の多肢選択問題(MCQ)が開発された。MCQは、専門医認定の外科腫瘍医によって作成され、外科腫瘍学フェローに期待される知識レベルでテストされました。Llama-2-7b-CCWG-Embedは、拡張OpenAIモデルと同様に、基本モデル( 表1を参照)よりも大幅に優れたパフォーマンスを発揮しました。これは、ベースラインと比較して拡張によってモデルのパフォーマンスが向上したため、この方法の肯定的な結果と見なされます。
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/66796/66796fig01.jpg"> 
図1:学術論文からベクトルデータベースを生成するための概略図。<a href="https://www.jove.com/files/ftp_upload/66796/66796fig01large.jpg" target="_blank">この図の拡大版を見るには、ここをクリックしてください。</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/66796/66796fig02.jpg"> 
図2:拡張LLMの全体的なシステム図。<a href="https://www.jove.com/files/ftp_upload/66796/66796fig02large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/66796/66796fig03.jpg"> 
図3:Linuxターミナルで実行されている拡張Llama-2モデル。 <a href="https://www.jove.com/files/ftp_upload/66796/66796fig03large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/66796/66796fig04.jpg"> 
図 4: 拡張 Llama-2 モデルからのクエリ結果。<a href="https://www.jove.com/files/ftp_upload/66796/66796fig04large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>LLMの</td>
			<td>スコア(正解率)</td>
		</tr>
		<tr>
			<td>ラマ-2-7b-チャット-hf</td>
			<td>65%</td>
		</tr>
		<tr>
			<td>ラマ-2-7B-CCWG-埋め込み</td>
			<td>75%</td>
		</tr>
		<tr>
			<td>オープンチャット-3.5-010618</td>
			<td>65%</td>
		</tr>
		<tr>
			<td>ミストラル-7B-v0.119</td>
			<td>70%</td>
		</tr>
		<tr>
			<td>GPT-3.5の</td>
			<td>75%</td>
		</tr>
		<tr>
			<td>GPT-3.5-CCWG-埋め込み</td>
			<td>85%</td>
		</tr>
		<tr>
			<td>GPT-4の</td>
			<td>85%</td>
		</tr>
		<tr>
			<td>GPT-4-CCWG-埋め込み</td>
			<td>90%</td>
		</tr>
	</tbody>
</table>
表1:腹膜悪性腫瘍の管理に関連する20の質問のセットに対するさまざまなLLMのスコア(正解率)。

Large language models (LLMs) have emerged as a popular resource for generating information relevant to a user query. Such models are created through a ...

augmenting-large-language-models-via-vector-embeddings-to-improve

Research

JoVE Journal

Medicine

医学

この記事では、Large Language Model(LLM)推論とRetrieval-Augmented Generation(RAG)を統合するRUGGED(Retrieval Under Graph-Guided Explainable disease...

エビデンスに基づく知識の統合と仮説の検証:説明可能なAIとエージェントシステム による 生物医学知識ベースのナビゲート

我々は、エンティ幻覚指数(EHI)を報酬シグナルとして用い、テキスト要約におけるエンティティレベルの幻覚を減らす強化学習ベースの微調整アプローチを大規模言語モデルに提案します。会議の書き起こしに関する実験では、この手法がエンティティの忠実性と正確性を向上させることが示されています。...

エンティティ幻覚インデックスを用いた大規模言語モデルの微調整によるテキスト要約

RNA干渉（RNAi）は遺伝子ノックアウトよりも多くの利点を有し、広範に遺伝子機能研究のツールと​​して使用されています。...

癌における遺伝子機能を研究するDNAベクターベースのRNA干渉

我々は慢性的脳卒中、非流暢性失語患者で言語能力を向上させるための反復経頭蓋磁気刺激の使用（rTMSの）を探る。刺激に最適に反応する患者ごとに右前頭回でサイトを識別した後、我々はrTMSの治療の10日間に、このサイトをターゲットにしています。...

慢性非流暢失語症脳卒中患者における言語機能を改善するために反復経頭蓋磁気刺激の活用

ランゲンドルフ装置に関するほとんどの研究は、大型哺乳類のシステムの複雑さが増すため、小動物モデルを使用しています。ここでは、ヒトを含むさまざまな種で使用でき、比較的簡単にデータを取得できる大型動物モデル用のランゲンドルフシステムについて説明します。...

大型動物モデルの絶縁型ワーキングハートシステム

このプロトコルは、イメージングマウス頸部リンパ節のための高周波超音波（HFUS）の適用を説明しています。この技術は、頸部リンパ節の形態、量および血流の可視化及び定量化を最適化します。頸部リンパ節および組織学的評価のためのリンパ組織の処理の画像誘導生検も実証されています。...

マウス子宮頸部リンパ節の高周波超音波イメージング

この原稿は、ウイルスベクターを介した局所遺伝子送達が、中枢神経系における導入遺伝子の発現にどのように魅力的な方法を提供するかを説明しています。...

組換えアデノ随伴ウイルスベクターの定位注射を介して、パーキンソン病のα-シヌクレインベースのラットモデルの開発

再現性の高い、高速、かつ効率的に薬理学的シャペロンと呼ばれる「オーファン」薬の新規クラスのテスト前臨床をする需要があります。新規の薬理学的シャペロン薬と同様に、対象となる患者の画面に、高度に標準化、シンプルで汎用性の高い細胞培養技術を用いた試験を行った。...

体外ファブリとポンペ病の薬理学的シャペロン応答性をテストする酵素測定

マウスにおける実験剤の気管内(IT)投与は、しばしば遠位肺への非対称的な送達をもたらす。 本報告では、生きているマウスの各肺を非手術的にカニューレする直接気管支内(IB)アプローチについて述べた。...

マウス肺内の選択的剤沈着を改善するための直接気管支内投与

冠状血管新生のインビトロモデルは、冠状血管新生の細胞および分子機構の発見に利用することができる。静脈内および心内膜組織のインビトロ外植培養はVEGF-Aに応答して強固な成長を示し、in...

冠動脈血管新生のインビトロモデル

学ぶベクトル埋め込みによる大規模言語モデルの拡張手法。医療応用における応答品質向上と複数モデルの性能比較コードを提供し、研究者の自然言語処理タスクの効率化に貢献します。

ベクトル埋め込みによる大規模言語モデルの拡張によるドメイン固有の応答性の向上

さらに動画を探す