ウェブベースのがん臨床実践ガイドラインを参照するガイドラインベースの検索拡張生成チャットボットの開発

サマリー

このプロトコルは、ウェブベースのがん臨床実践ガイドラインから内容を取得・要約し、ユーザーの問い合わせに対して参照に基づく回答を生成するガイドラインベースの検索拡張生成チャットボットの開発と評価を説明しています。

要約

インターネット上での医療情報の広範な利用は、患者の医療関連知識へのアクセスを向上させました。しかし同時に、不正確な医療情報への曝露も増加させています。がん治療は複雑な情報を含み、患者が正確でエビデンスに基づく情報源を特定するのが困難です。大規模言語モデルは自然言語のやり取りを可能にしますが、しばしば幻覚を生み出し、医療情報伝達への応用を制限します。検索拡張生成(RAG)は、外部の参照源に応答を根拠にすることでこれらのリスクを軽減する可能性を秘めています。本研究は、公開されているウェブベースのがん臨床実践ガイドラインを用いたガイドラインベースのRAGチャットボットの開発と評価を説明しています。このシステムはガイドラインの目次ページからURLを抽出し、形態学的解析と用語頻度-逆文書頻度に基づく余弦類似性を用いてページテキストを処理し、関連性の高いページから参照情報を構築します。大規模な言語モデルはこれらの参照を用いて、ガイドライン内容に制約された回答を生成します。JLCSの『肺がん患者および家族向けガイドブック』が参考ガイドラインとして使用されました。問題セットには、ガイドラインでカバーされる範囲内がんタイプと範囲外がんタイプの両方が含まれ、反応コントロールを評価するようでした。医療情報は目次ページから成功裏に抽出され、抽出されたURLの98%に参照可能な医療コンテンツが含まれていました。範囲内の質問については、チャットボットがガイドライン内容を要約して回答を生成し、定義されたテスト条件下での手動レビュー中に幻覚は確認されませんでした。範囲外の質問に対しては、チャットボットは一貫して回答を拒否し、利用可能な情報が不十分であると示しました。ガイドラインのウェブ構造は、URLレベルでの引用コンテンツの効率的なスクレイピングと整理を可能にしました。このプロトコルは、ウェブベースの臨床実践ガイドラインに基づき医療情報を提供する人工知能システムを構築するための実践的な指針を提供します。

概要

インターネットやソーシャルメディアの普及により、患者が医療情報にアクセスしやすくなった ^1,2.がんケアの情報はしばしば複雑かつ広範であるため、患者が正確で関連性があり、科学的証拠に基づく情報源を特定するのが特に困難^です。オンラインリソースは患者の理解を助ける一方で、誤った^{医療情報が多く}含まれており、^{患者のケアに関する}判断に悪影響を及ぼす可能性があります。がん関連の誤情報が患者の転後に影響を与える^{可能性があるため、個々の}ユーザーが医療情報を検索、要約、解釈できる人工知能(AI)システムの需要が高まっています^。

大規模言語モデル(LLM)は、ユーザーが自然言語会話を通じて情報にアクセスすること^{を可能にします7;}しかし、誤情報(すなわち幻覚)の生成は^{医療分野で依然}として深刻な懸念事項^です。誤情報の主な原因の一つは、チャットボット開発に使われたトレーニングデータの質と正確さです。さらに、モデル訓練の静的な性質により、知識は時間とともに時代遅れになり、LLMが現在かつ文脈的に適切な情報を提供する能力が制限されます^12,13。これらの制約は、チャットボットの回答が正確で関連性があり、最新であることを保証するための効果的な知識管理戦略の重要性を示しています。特に、臨床実践ガイドラインのような最新のエビデンスに基づくリソースに容易にアクセスし参照できるシステムは、推奨事項やケア基準が絶えず進化する医療現場において望ましいです。この課題に対処するため、外部知識源からの情報を取り入れて応答を生成する検索拡張生成(RAG)が注目を集めています(10,13,14,15,16,17)。

RAGは医療用チャットボットへの適用が増えていますが、臨床実践ガイドラインを参考情報源として体系的に組み込む方法については限定的な注目が払われてきました¹⁸。多くの臨床実践ガイドラインはウェブ上で公開されています。しかし、既存のウェブ構造がRAGシステム¹⁸の検索フレームワークとして直接機能するかどうかは依然として不明です。さらに、手動の知識ベース開発を行わずに参照情報を構築する実用的な手法も十分に確立されていません。

本研究では、医療分野におけるガイドライン参照AIシステムの設計原則を確立し、公開されているウェブベースのがん臨床診療ガイドラインを用いるガイドラインベースのRAGチャットボットを開発・評価し、ガイドラインに基づく情報への簡単かつタイムリーなアクセスを可能にすることを目指しました。概念実証として、既存の公開されている臨床実践ガイドラインのウェブ構造を用いて、ガイドラインの検索、反応生成、応答制限の技術的実現可能性を評価し、ガイドライン参照RAGシステムの再現性開発プロトコルを提案することを目標としました。

プロトコル

本研究は、研究に伴うリスクからの保護を必要とするヒト被験者を対象としていません。したがって、日本の倫理ガイドラインによれば、ヒ^{ト被験者を含む}医療研究に関しては機関審査委員会による審査は不要です。本研究は、個人予後または診断のための多変数モデルの透明報告(TRIPOD)-LLMガイドライン²⁰に従って報告されています。

ガイドラインベースのRAGチャットボットプロトコルの概観については 図1 を参照してください。

図1。ガイドラインベースの検索拡張生成(RAG)チャットボットプロトコルのワークフロー。 ガイドラインに基づくRAGチャットボットワークフローの概説。URLはウェブベースの臨床実践ガイドラインの目次ページから抽出され、参照情報の作成に利用されます。ユーザーのクエリはキーワードに変換され、ウェブページの内容はトークン化、用語頻度逆頻度ベクトル化、余弦類似度分析を経て関連するガイドラインページを特定します。選ばれた参考情報は統合され、大規模な言語モデルに提供され、参照されたガイドライン内容のみに基づいて回答を生成します。右パネルは抽出されたURL、参照情報、チャットボット応答に使用された評価項目をまとめています。 この図の拡大版はこちらをクリックしてご覧ください。

1. ウェブベースのガイドラインからの参考情報の作成

1. Python(バージョン3.12)プログラミング言語で実装されたBeautifulSoup 4(HTML解析ライブラリ)を使い、対象のウェブベースの臨床実践ガイドラインの目次ページからすべてのURLを抽出します。
   注意:以下のパッケージでURL抽出スクリプトを実装してください:HTMLパーシングライブラリ(バージョン4.12.3)およびリクエスト(ウェブページ検索ライブラリ;バージョン2.32.3)。pipを使ってパッケージをインストールしましょう。URL抽出のための完全なソースコードは 補足ファイル1に提供されています。ソフトウェアの詳細については 「材料表 」を参照してください。
2. 抽出されたすべてのURLを手動で確認し、目標臨床実践ガイドラインへのアクセスと関連性を確認しましょう。
3. 各URLを医療情報を含むものと非医療情報のどちらかに分類してください。URL分類は1人の著者(S.N.)で行います。
   注:医療情報は臨床質問(CQ)、背景質問、問題セットを含む参照可能なガイドライン内容として定義されています。非医療情報には、リンク、学会や組織のページ、参照に適さないその他の付随的な内容が含まれていました。
4. 検証済みのURLをMicrosoft Excelワークブック(.xlsx形式)にまとめ、1行に1つのURLを記録します。その結果得られたURLリストを入力データセットとして保存し、その後のテキスト検索、前処理、類似性分析に用いられます。

2. ユーザークエリからのキーワード生成

1. 自然言語クエリをChatGPT(生成前学習トランスフォーマー、バージョン40、キーワード生成モデル)に入力します。
2. モデルにユーザークエリに対応する2つのキーワードを抽出するよう促します。
3. キーワード生成には、日本語で書かれた以下のプロンプトを使用してください:
   「」
   (英訳:「以下のテキストから2つのキーワードを抽出。」)
4. ユーザーの自然言語クエリをこの指示に付加し、キーワード生成モデルに提出します。
5. モデルパラメータを手動で変更しないでください。キーワード生成モデルのデフォルト設定を使ってキーワード生成を行います。
6. 各ユーザークエリごとに2つのキーワードを生成します。両方のキーワードを、さらなる修正、フィルタリング、手動選択なしで保持し、その後の類似度計算に活用してください。
7. 生成されたキーワードはMicrosoft Excelのワークブック(.xlsx形式)に保存してください。各レコードに対して、元のユーザークエリとそれに対応する生成されたキーワードを保存し、後続の類似度に基づく検索のために保存します。

3. テキスト処理と類似度計算

1. 各抽出URLからウェブページ検索ライブラリとHTML解析ライブラリを使って全文内容を取得します。BeautifulSoupのget_text()関数を使ってHTMLソースからテキスト内容を抽出します。
2. 抽出したウェブページのテキストや生成されたキーワードは、HTMLタグや日本語以外の文字を削除して前処理します。
3. MeCab(バージョン0.996)を用いて日本語形態解析を行うデフォルトの辞書を用いる日本語形態学分析ツール。名詞のみを保持し、それらを空間で区切られたテキスト文字列に連結します。
4. 生成されたキーワードを1つのテキスト文字列にまとめ、ウェブページのテキストで使われるのと同じ前処理とトークン化手順を適用します。
5. scikit-learnライブラリ(バージョン1.6.1)のTfidfVectorizer実装を用いて、処理済みのウェブページテキストとキーワードテキストから、デフォルトパラメータ設定で用語頻度逆文書頻度(TF–IDF)ベクトルを生成します。
   注意:すべてのTfidfVectorizerパラメータはデフォルト値のままであり、カスタムパラメータ設定は適用されていません。
6. 各ウェブページのベクトルとキーワードベクトル間のコサイン類似度をコサイン類似度関数で計算します。
7. URLをコサイン類似度スコアに基づいて降順にランク付けします。追加の同点決定基準は適用しないでください。
8. 候補の参考情報として、コサイン類似度スコアが≥0.2のページを選択します。
   注:余弦類似度閾値(0.2)は、システム開発時に検索リコールの優先順位を置き、関連するガイドライン内容を除外しないように経験的に選択されました。
9. 類似度の閾値を満たすすべての候補ページを保持してください。

4. 参照情報の構築

1. 順番に選ばれたページのテキスト内容をランクリストの上部から抽出します。
2. 抽出したテキストを連結して単一の参考文献を形成します。
3. LLMに提出する前に、参照テキスト内の改行文字と連続した空白文字を1つのスペースに置き換えてください。
4. 連結された参照テキストを最初の4,096文字に切り詰めてからLLMに提供してください。
   注:切断制限はトークンではなく文字に基づいていました。4,096文字の制限が経験的に選択され、プロンプト情報と参照情報の合計がGPT-3.5-turbo-16k応答生成モデルの入力容量内に収まることを保証しました。

5. AIベースの応答生成

1. 構成された参照情報と元のユーザークエリをアプリケーションプログラミングインターフェース(API)を通じて応答生成モデルに提供します。
2. 以下のプロンプト(全文日本語で書かれ)を使って、提供された参考情報のみに基づいて回答を生成するようAIに指示します。
   「あなたはがん患者に指導を提供する医療情報アシスタントです。以下の参考情報のみに基づいて回答を生成し、ご自身の一般的な知識や推論は使用しないでください。回答は詳細で理解しやすく、約500文字の長さであるべきです。もし参考情報に十分な情報が含まれていない場合は、推測や一般知識を使わずに「本文に不十分な情報があります」と答えてください。
3. 参照情報とユーザークエリを一つのユーザーメッセージ内でまとめて提供します。入力は「参考情報:[参照テキスト]」に続き、「質問:[ユーザークエリ]」と構成します。
4. 応答生成モデルを用いて、以下の設定で応答を生成します:温度 = 0.1、最大出力長 = 1,024トークン、n = 1、停止 = なし。
5. AI生成の回答を取得し、その後の評価に備えます。
   注意:参考情報とユーザークエリは単一のユーザーメッセージとして提出してください。応答生成命令はシステムメッセージとして別途提供してください。

6. 参考文献ガイドラインと質問の定式化

1. ガイドラインベースのRAGチャットボットシステムの参考情報として、オンラインで無料で入手可能なJLCSの『肺がん患者と家族向けガイドブック』²¹を選択してください。
2. がんの種類に基づいて評価質問を2つのカテゴリーに作成します。胸腺腫瘍(ガイドラインの範囲内)と、小児膠腫(参照情報の範囲外)です。
3. 各がんタイプに対する診断と治療に関する4つの質問を作成しましょう。
   「XX(例:胸腺性または小児性膠腫)腫瘍の診断方法にはどのようなものがありますか?」
   「XX腫瘍の病理学的診断アプローチは何でしょうか?」
   「XX腫瘍にはどのような治療法がありますか?」
   「XX腫瘍の外科的治療法は何でしょうか?」
4. 参照されたウェブベースのガイドラインで扱われているがんの種類に関する質問をチャットボットに送信してください。例えば、肺の診断に関する質問を、Lung Guidebookを参考資料として提出してください。
5. 参照ガイドラインの範囲外の質問をチャットボットに提出し、外部情報や無関係な情報の使用を控えるかどうかを評価してください。例えば、Lung Guidebookを参考資料として小児膠腫に関する質問を提出します。
6. それぞれの質問は独立したチャットセッションで評価してください。質問の間に会話履歴を持ち継がないでください。
7. AI生成の回答を記録し、後続の評価に備えます。

7. 反応評価

1. 生成されたすべての回答を手動で確認します。
2. 各反応に幻覚が含まれているかどうかを評価してください。
3. 各回答が参照ガイドライン内の情報によって裏付けられているかどうかを評価してください。
   注:幻覚とは、存在しない出来事、名前、または医療上の害を引き起こす可能性のある用語を含む反応と定義^{されています。}生成された回答は、大学病院で8年の経験を持つ1名の著者によって、正確性と幻覚の有無を審査し、患者支援やがん患者の医療コミュニケーションも含まれていました。反応分類に関する不確実性は、国立がんセンター日本で20年以上のがん情報サービス経験を持つ医師との協議によって解消されました。
4. 回答を支持するとみなすのは、すべての臨床的に関連した記述が、追加の知識や根拠のない推論を必要とせずに、検索した参考文献から直接確認できる場合のみです。
5. 各反応をあらかじめ定義されたアウトカムラベルで分類します。参照ガイドラインに裏付けられた情報のみを含む回答は「幻覚不在」と分類してください。裏付けられていない、または捏造された情報を含む回答を「幻覚の存在」と分類してください。

結果

目次ページを通じた医療コンテンツの取得可能性

ウェブスクレイピングのアーキテクチャは、ガイドラインの目次ページからURLを収集していました。肺ガイドブックから106のURLが目次ページから抽出され、そのうち104(98%)が医療情報を含むものでした(補足表1)。ガイドラインの内容ページに基づくチャットボットの回答の効果は 表1にまとめられています。チャットボットは、質問がガイドラインの範囲内であれば、4つの臨床キーワードすべてに対して回答を生成しました。「胸腺腫瘍診断」および「病理診断」については、各キーワードごとに3つの関連URLを抽出し、すべての抽出URLが有効(100%)とみなされました。「治療法」と「外科的治療」については、各キーワードごとに15のURLを抽出し、14項目(93%)が効果的でした。

クエリ	キーワード	参照コンテンツ項目、 n	効果的な参考文献、 n (%)
胸腺腫瘍にはどのような診断方法がありますか?	胸腺腫瘍の診断	3	3 (100)
胸腺腫瘍の病理診断的アプローチは何ですか?	胸腺腫瘍の病理診断	3	3 (100)
胸腺腫瘍にはどのような治療法がありますか?	胸腺腫瘍治療法	15	14 (93)
胸腺腫瘍の外科的治療法にはどのような選択肢がありますか?	胸腺腫瘍の外科的治療	15	14 (93)

表1:JLCSの肺がん患者および家族向けガイドブックに基づく参考情報およびチャットボット応答の内容。 ユーザークエリの要約、生成されたキーワード、類似度に基づく検索によって特定された参照コンテンツの数、医療情報を含む有効な参照項目数。参照されたコンテンツ項目は、各キーワードに基づいてURLレベルで特定された関連ウェブページの総数を表しています。有効参照項目は、重複URLや非医療ウェブページを除外した後、医療情報を含むユニークなウェブページの数と割合を示します。

範囲内の質問に対するチャットボットの回答

表2は 、提供されたガイドラインの範囲内にある質問に対するチャットボットの回答を示しています。十分な参考情報が得られると、チャットボットはガイドラインの関連部分を要約して回答を生成しました。生成された回答は約350文字の日本語で構成されていました。定義された検査条件下での手動レビューでは幻覚は認められませんでした。これらの範囲内質問については、複数の効果的な参照項目が回答生成をサポートしていました(表1)。生成された日本語テキストはChatGPTバージョン5.2を使って英語に翻訳され、その後研究者によって元の日本語回答との正確性と整合性が審査されました。

クエリ	回答					文字数
胸腺腫瘍にはどのような診断方法がありますか?	胸腺腫瘍の診断には画像診断と病理診断の両方が必要です。画像診断のためには胸部CTと胸部MRIが行われます。胸膜および胸腺癌は、腫瘍内に空気や液体成分を含まない固形腫瘍であり、胸胸腺腫では周囲の正常組織への侵入が軽度ですが、胸腺癌ではより顕著であることが知られています。画像診断で周囲組織への侵襲が見られないか、原病変から遠方に腫瘍(転移)がないことが判明した場合、腫瘍は外科的に切除され、手術標本を用いて病理診断が行われます。外科的切除が困難な場合はCTガイド生検を行い、腫瘍組織の一部を採取して診断します。病理診断では、胸腺腫は腫瘍内の正常リンパ球の割合や腫瘍細胞の形態に基づいて分類されますが、胸腺癌は組織学的サブタイプごとに詳細に分類されます。臨床病床(ステージ)の決定には胸腺腫瘍病変の広がりの程度が考慮され、3つの病期分類システムに基づき第I期から第IV期に分類されます。					366
胸腺腫瘍の病理診断的アプローチは何ですか?	胸腺腫瘍の病理診断では、腫瘍組織の一部または全体を採取して病理学的検査を行います。チーママは、腫瘍内に正常なリンパ球の割合や腫瘍細胞の形態に基づいて、タイプA型とタイプAB型などのサブタイプに分類されます。対照的に、胸腺癌は細胞型異型を特徴とする悪性腫瘍であり、扁平上皮癌は最も一般的な組織学的サブタイプです。病理診断を通じて、生物学的特徴や腫瘍の進行度が評価され、適切な治療戦略の選択や予後予測に役立ちます。さらに、胸腺腫瘍の病理診断により病期(病期)を判断でき、治療計画に重要な情報を提供します。臨床病期は正岡分類、正岡・古賀分類、UICC–TNM分類の3つの体系で分類され、腫瘍は腫瘍の広がりと浸潤の程度に応じてステージIからステージIVまでの4つのステージに分類されます。病理診断は胸腺腫瘍の適切な治療および予後評価に不可欠な情報を提供します。					330
胸腺腫瘍にはどのような治療法がありますか?	胸腺腫瘍の治療法には、外科的治療(手術)、放射線療法、薬物療法(化学療法)があります。手術は胸腺と腫瘍を同時に完全に切除する手術であり、胸腺腫の場合は追加の治療が不要な場合があります。胸腺癌では、がんが周囲の組織に転移した場合に術後放射線療法が追加されることがあります。化学療法または化学放射線療法は、手術が困難な場合や再発や遠隔転移がある場合に行われ、薬物療法の一環として用いられます。さらに、進行または再発性の胸腺癌には化学療法を中心とした治療が行われ、必要に応じて手術と放射線療法を組み合わせたマルチモーダル療法も実施されることがあります。さらに、化学療法後の進行または再発性胸腺癌には、分子標的治療薬であるレンバチニブが使用されることがあります。適切な治療法の組み合わせは、疾患の状態と患者の臨床状況に基づいて選択されます。					342
胸腺腫瘍の外科的治療法にはどのような選択肢がありますか?	胸腺腫瘍の外科的治療は、腫瘍が完全に切除可能と判断された場合に行われます。手術では、一般的に胸腺全体と腫瘍を同時に切除するのが標準的な方法です。胸膜の場合、腫瘍が完全に切除された場合、追加の治療は必要ありません。対照的に、胸腺がんの場合、周囲組織へのがん浸潤がある場合、術後放射線治療を補助的に行うことがあります。手術が困難と判断された場合、まず化学療法または化学放射線療法が行われ、実現可能であれば手術が検討されます。手術ができない場合は、化学療法や化学放射線療法を継続することもあります。さらに、手術が可能であっても完全な切除ができない場合は、術後の放射線治療や化学放射線療法が残留腫瘍の治療に施されることもあります。外科的治療は腫瘍の種類と進行度合いに応じて適切に選択されます。					342

表2:JLCSの肺がん患者および家族向けガイドブックに基づくガイドラインベースの検索拡張生成(RAG)チャットボットによって生成された回答。 JLCSの肺がん患者・家族ガイドブック(https://www.haigan.gr.jp/public/guidebook/2024/)から抽出した参考情報を用いて、胸腺腫瘍に関する質問に対してガイドラインベースのRAGチャットボットが生成した代表的な回答。この表にはユーザークエリ、チャットボット生成の回答、回答の長さが含まれています。文字数は、ChatGPTバージョン5.2を用いて英語に翻訳される前に、元の日本語回答で測定されました。

範囲外の質問に対するチャットボットの回答

肺ガイドブックの範囲外の質問に対するチャットボットの回答は 表3にまとめられています。これらの質問で参照された内容項目は限られていましたが、回答生成モデルは利用可能な参照情報がエビデンスに基づく回答を生成するには不十分であると判断しました。その結果、チャットボットは範囲外のクエリに対して情報不足を示す回答を返しました。「テキストに情報が不足しています」と「参考文献がありません。」という文は、システムプロンプトで事前に指定された応答でした。前者は検索した参照情報が問題に答えるのに不十分であった場合に返され、後者は参照情報が得られなかった場合に返されました。

クエリ	キーワード	参照コンテンツ項目、 n	チャットボットの応答
小児膠腫の診断方法にはどのようなものがありますか?	小児グリオーマの診断	0	参考文献は一切ありません。
小児膠腫の病理診断的アプローチは何ですか?	小児膠質腫の病理診断	13	本文には情報が不十分である。
小児膠腫にはどのような治療法がありますか?	小児グリオーマ治療法	13	本文には情報が不十分である。
小児膠腫の外科的治療法にはどのような選択肢がありますか?	小児膠質腫の手術治療	12	本文には情報が不十分である。

表3:JLCS肺がん患者および家族向けガイドブックに基づく臨床質問レベルにおける範囲外質問へのチャットボットの回答。 ガイドラインベースの検索拡張生成(RAG)チャットボットによって生成される回答は、参考ガイドラインの範囲外の質問に対して行われます。この表は、ユーザーのクエリ、生成されたキーワード、類似度に基づく検索で特定された参照されたコンテンツ数、そしてその結果生じたチャットボットの応答を要約しています。参照されたコンテンツ項目は、各キーワードに基づいてURLレベルで特定された関連ウェブページの総数を表しています。検索対象の疾患に関連する情報が検索対象外の質問に対して有効な参照項目は計算されませんでした。

補足ファイル1。ウェブベースの臨床実践ガイドラインからURLとテキスト抽出のためのPythonコード。 ウェブベースの臨床実践ガイドラインの目次ページからURLやウェブページのテキストを抽出するために使われるコードです。抽出されたURLとテキスト内容は、ガイドラインベースの検索拡張生成(RAG)チャットボットワークフローにおける後のテキスト処理、類似性分析、参照情報構築に使用されました。このファイルをダウンロードするには、こちらをクリックしてください。

補足表1。ウェブベースのガイドライン目次ページから抽出したURLの一覧と、医療情報または非医療情報としての分類。 JLCSの肺がん患者・家族向けガイドブックの目次ページから抽出されたURLは、手作業で確認され、医療情報または非医療情報として分類されました。医療情報は、臨床質問(CQ)、背景質問、問題セット、患者指導に関連する補助教育資料を含む参照可能なガイドライン内容として定義されました。医療以外の情報には、社会や組織のウェブページ、ナビゲーションページ、ハイパーリンク、チャットボットの応答生成の参照情報としては使われないその他の付随的なコンテンツが含まれていました。この表は、抽出されたすべてのURLとその分類結果をまとめたものです。*URLはJLCSの肺がん患者・家族ガイドブック目次ページ(https://www.haigan.gr.jp/public/guidebook/2024/)から抽出されました。このファイルをダウンロードするには、こちらをクリックしてください。

ディスカッション

本研究では、ウェブベースの臨床実践ガイドラインであるJLCSのGuidebook for Lung Cancer Patients and Familiesを参考情報源として用いるガイドラインベースのRAGチャットボットの有用性を検討しました。チャットボットはガイドラインのウェブ構造を活用し、ユーザーのクエリとの類似性に基づいてページを取得し、ガイドラインの内容に基づいた回答を生成しました。このアプローチは、類似性に基づく検索とガイドライン参照応答生成を組み合わせることで、信頼性が高く効率的な医療情報の提供を支援できることが示されました。最近の研究では、LLMベースの医療チャットボットの可能性と限界の両方が強調されており、特に幻覚や応答信頼性に関して12,13,14。従来の一般的なチャットボットフレームワーク^10、12、13に焦点を当てた研究とは異なり、本プロトコルはURLレベルで患者ガイドラインの内容を取得し、識別可能な参照情報に基づく応答を生成する再現可能なガイドラインベースのRAGアプローチを示しています。したがって、本研究は完全に検証された臨床チャットボットシステムではなく、がん情報提供のための透明なプロトコルを提供します。

AIをガイドラインコーパス全体で訓練するのではなく、各ユーザークエリに最も関連性の高いCQのみを参考情報として選択しました(図1)。問題文と各 CQ の関連性は、プログラミング言語を用いたコサイン類似度計算と TF–IDF ベクトル表現を用いて定量的に評価されました。これらの類似度スコアに基づき、CQは関連性の降順にランク付け・選択され、主観的判断に頼らずにガイドライン内から適切な情報源を体系的に抽出することが可能となりました(表1)。さらに、取得したCQテキストを連結してAIに提示することで、回答生成の一貫した証拠基盤を維持し、生成された回答の正確性と文脈的整合性を向上させました。RAGシステムでは、正確な情報生成は正確かつ適切な参照源に極めて依存しています¹⁴。この設計により、単一のCQでは十分にカバーできない情報を補正でき、より包括的で臨床的に妥当な回答に寄与しました。さらに、RAGは最新のCQコンテンツの柔軟な検索を可能にし、エビデンスに基づく医療応用にも適しています^10,11。ガイドラインベースのRAGアプローチ^{は以前にも}記述^{されていますが、}本プロトコルは患者指向ガイドラインという既存のCQベースのウェブ構造を主要な検索フレームワークとして用いています。この設計は、手動の知識ベース構築やモデル再訓練を必要とせずに実装可能な透明で再現可能なワークフローを提供します。

重要なのは、チャットボットが回答を指針の範囲内に限定していたことです。ガイドラインの内容外の質問は、明確に回答の生成を控え、支持されていない回答のリスクを減らしました。参照選択を制御するための余弦類似性の使用は、生成された応答の安全性と信頼性をさらに高めました(表2)。ガイドラインの範囲外の質問については参考文献ページも取得しました(表3)。余弦類似度値は範囲内質問の方が高く(0.20–0.65)、範囲外の質問では0.20–0.31(データ未表示)でしたが、臨床的に関連性のない内容でもガイドラインページには低い類似度スコアが割り当てられました。これは、余弦類似度がクエリとガイドラインテキストのキーワードマッチングのみに基づいて計算されたためです。重要なのは、これらの関連性の低い参照が不適切な回答につながらず、十分な参考情報が得られない場合にはチャットボットが回答を生成しなかったことです。定義された検査条件下での手動レビューでは幻覚は認められませんでした。余弦類似度閾値0.2は、検索感度と特異度のバランスを取るために、予備試験で経験的に選択されました。この閾値は現在の試験条件下で有効でしたが、閾値感度の体系的な評価は本プロトコル研究の範囲外でした。今後の研究では、より大きなベンチマークデータセットと定量的検索指標を用いて代替閾値設定の効果を調査すべきです。観察された挙動は、RAGベースの出力制御が医療AI応用で有用であることを示唆しています。しかし、現在の評価は限られた数の範囲内および範囲外の問題に基づいており、主に提案されたワークフローの概念実証評価を目的としていました。したがって、この結果は臨床的正確性、安全性、一般化可能性の包括的な検証として解釈されるべきではありません。

この研究にはいくつかの技術的制約があります。日本の形態解析ツールとGPT-3.5-turbo-16k(応答生成用のLLM)を用いました。LLMが選ばれたのは、システム開発当時に広く安定していたモデルであり、提案されたワークフローの再現可能な実装を可能にしたためです。形態学的アナライザーとLLMは異なる特徴を持ちます。したがって、モデルやライブラリの選択は情報抽出の精度と生成される回答の内容の両方に影響を与えます^22,23。新しいモデル(例:GPT-4やGPT-5クラスのLLM)は性能や^外部妥当性を向上させる可能性がありますが、代替モデルの評価は本プロトコル研究の範囲を超えていました。新しいLLMは推論能力、指示に従う能力、応答の質を向上させる可能性があります。しかし、本研究の主な目的は、異なるLLMの性能比較ではなく、ガイドラインベースのRAGフレームワークの実現可能性を評価することでした。これらのコンポーネントのさらなる最適化により、より効率的かつ正確な応答生成が可能になる可能性があり、異なるモデル構成を用いた検証がこれらの発見の一般化可能性を評価するために必要です。さらに、本プロトコルは日本語のガイドラインと日本語の形態学的分析を用いて開発されました。TF–IDFベクトル化、余弦類似性、RAGに基づく検索フレームワークは原理的には言語に依存しませんが、他の言語での実装には言語固有のテキスト処理ツールと検証が必要です。この研究は単一のガイドラインに限定され、異なるガイドライン構造の直接比較は認められていませんが、CQレベルの組織はガイドライン内容の体系的な抽出を促進し、ガイドラインベースのRAGチャットボットの参考情報構築を支援しました。特に、ガイドラインのウェブ構造—各CQが一意のURLに関連付けられる—は、URLレベルでの参照コンテンツの効率的なスクレイピングと整理を可能にする上で重要な実用的役割を果たしました。PDFベースの文書やCQレベルのURLを持たないウェブサイトなど、異なるフォーマットのガイドラインでは、代替のセグメンテーションや検索戦略が必要になる場合があります。したがって、現在のワークフローを他のガイドライン構造や医療専門分野に一般化できるかどうかはまだ確立されていません。今後の研究では、このアプローチが複数の疾患、ガイドライン形式、情報源に適用できるかどうかを評価するべきです。

本研究の成果は、ガイドライン参照型AIシステムの設計に実践的な指針を提供し、ウェブベースの臨床ガイドラインを参照するガイドラインベースのRAGチャットボットががん関連医療情報の提供ツールとして潜在的であることを示しています。しかし、本研究はガイドライン検索、反応生成、反応制限メカニズムの技術的実現可能性を示すことを目的とした概念実証評価であり、医療情報システムの正式な臨床検証と解釈すべきではありません。臨床的有効性、安全性、ユーザーアウトカムは評価されておらず、今後の研究で確立される予定です。倫理的および利用者の安全の観点から、ガイドラインに基づく情報への回答を制限することで、裏付けられていない、あるいは幻覚的な回答のリスクを減らす可能性があります。しかし、過度な拒否行動はユーザーの満足度や有用性の認識を低下させることもあります。したがって、今後の研究では、誤情報に対する適切な安全対策を維持しつつ、安全性と使いやすさのバランスを評価するべきです。ウェブベースのガイドラインの情報構造を活用し、ユーザーの質問に的確な回答を提供することで、このシステムは将来の医療情報提供におけるAIの応用モデルとして有用となる可能性があります。

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
Beautiful Soup 4 (version 4.12.3)	Beautiful Soup プロジェクト	N/A	URLの抽出とHTMLの解析に使用されるPythonライブラリ
ChatGPT version 4o	OpenAI	N/A	キーワード生成に使用
GPT-3.5-turbo	OpenAI	N/A	応答生成に使用
肺がん患者と家族のためのJLCSガイドブック	日本肺癌学会	N/A	参照情報として使用されるウェブベースの臨床実践ガイドライン
MeCab (version 0.996)	MeCab プロジェクト	N/A	日本語形態素解析器
OpenAI API	OpenAI	N/A	AIベースの応答生成に使用
Python (version 3.12)	Python ソフトウェア財団	N/A	プログラミング環境
Requests (version 2.32.3)	Requests プロジェクト	N/A	ウェブページの取得に使用されるPythonライブラリ
scikit-learn (version 1.6.1)	scikit-learn 開発者	N/A	TF–IDF ベクトル化と余弦類似度計算に使用
urllib.parse	Python ソフトウェア財団	N/A	URL の正規化と結合に使用される Python ライブラリ