このプロトコルは、ウェブベースのがん臨床実践ガイドラインから内容を取得・要約し、ユーザーの問い合わせに対して参照に基づく回答を生成するガイドラインベースの検索拡張生成チャットボットの開発と評価を説明しています。
このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。
この記事について
サマリー
要約
インターネット上での医療情報の広範な利用は、患者の医療関連知識へのアクセスを向上させました。しかし同時に、不正確な医療情報への曝露も増加させています。がん治療は複雑な情報を含み、患者が正確でエビデンスに基づく情報源を特定するのが困難です。大規模言語モデルは自然言語のやり取りを可能にしますが、しばしば幻覚を生み出し、医療情報伝達への応用を制限します。検索拡張生成(RAG)は、外部の参照源に応答を根拠にすることでこれらのリスクを軽減する可能性を秘めています。本研究は、公開されているウェブベースのがん臨床実践ガイドラインを用いたガイドラインベースのRAGチャットボットの開発と評価を説明しています。このシステムはガイドラインの目次ページからURLを抽出し、形態学的解析と用語頻度-逆文書頻度に基づく余弦類似性を用いてページテキストを処理し、関連性の高いページから参照情報を構築します。大規模な言語モデルはこれらの参照を用いて、ガイドライン内容に制約された回答を生成します。JLCSの『肺がん患者および家族向けガイドブック』が参考ガイドラインとして使用されました。問題セットには、ガイドラインでカバーされる範囲内がんタイプと範囲外がんタイプの両方が含まれ、反応コントロールを評価するようでした。医療情報は目次ページから成功裏に抽出され、抽出されたURLの98%に参照可能な医療コンテンツが含まれていました。範囲内の質問については、チャットボットがガイドライン内容を要約して回答を生成し、定義されたテスト条件下での手動レビュー中に幻覚は確認されませんでした。範囲外の質問に対しては、チャットボットは一貫して回答を拒否し、利用可能な情報が不十分であると示しました。ガイドラインのウェブ構造は、URLレベルでの引用コンテンツの効率的なスクレイピングと整理を可能にしました。このプロトコルは、ウェブベースの臨床実践ガイドラインに基づき医療情報を提供する人工知能システムを構築するための実践的な指針を提供します。
概要
インターネットやソーシャルメディアの普及により、患者が医療情報にアクセスしやすくなった 1,2.がんケアの情報はしばしば複雑かつ広範であるため、患者が正確で関連性があり、科学的証拠に基づく情報源を特定するのが特に困難です。オンラインリソースは患者の理解を助ける一方で、誤った医療情報が多く含まれており、患者のケアに関する判断に悪影響を及ぼす可能性があります。がん関連の誤情報が患者の転後に影響を与える可能性があるため、個々のユーザーが医療情報を検索、要約、解釈できる人工知能(AI)システムの需要が高まっています。
大規模言語モデル(LLM)は、ユーザーが自然言語会話を通じて情報にアクセスすることを可能にします7;しかし、誤情報(すなわち幻覚)の生成は医療分野で依然
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
プロトコル
本研究は、研究に伴うリスクからの保護を必要とするヒト被験者を対象としていません。したがって、日本の倫理ガイドラインによれば、ヒト被験者を含む医療研究に関しては機関審査委員会による審査は不要です。本研究は、個人予後または診断のための多変数モデルの透明報告(TRIPOD)-LLMガイドライン20に従って報告されています。
ガイドラインベースのRAGチャットボットプロトコルの概観については 図1 を参照してください。
図1。ガイドラインベースの検索拡張生成(RAG)チャットボットプロトコルのワークフロー。 ガイドラインに基づくRAGチャットボットワークフローの概説。URLはウェブベースの臨床実践ガイドラインの目次ペ....
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
結果
目次ページを通じた医療コンテンツの取得可能性
ウェブスクレイピングのアーキテクチャは、ガイドラインの目次ページからURLを収集していました。肺ガイドブックから106のURLが目次ページから抽出され、そのうち104(98%)が医療情報を含むものでした(補足表1)。ガイドラインの内容ページに基づくチャットボットの回答の効果は 表1にまとめられています。チャットボットは、質問がガイドラインの範囲内であれば、4つの臨床キーワードすべてに対して回答を生成しました。「胸腺腫瘍診断」および「病理診断」については、各キーワードごとに3つの関連URLを抽出し、すべての抽出URLが有効(100%)とみなされました。「治療法」と「外科的治療」については、各キーワードごとに15のURLを抽出し、14項目(93%)が効果的でした。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
ディスカッション
本研究では、ウェブベースの臨床実践ガイドラインであるJLCSのGuidebook for Lung Cancer Patients and Familiesを参考情報源として用いるガイドラインベースのRAGチャットボットの有用性を検討しました。チャットボットはガイドラインのウェブ構造を活用し、ユーザーのクエリとの類似性に基づいてページを取得し、ガイドラインの内容に基づいた回答を生成しました。このアプローチは、類似性に基づく検索とガイドライン参照応答生成を組み合わせることで、信頼性が高く効率的な医療情報の提供を支援できることが示されました。最近の研究では、LLMベースの医療チャットボットの可能性と限界の両方が強調されており、特に幻覚や応答信頼性に関して12,13,14。従来の一般的なチャットボットフレームワーク10、<.......
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
開示事項
著者たちは競合する利害関係を一切認めていない。
謝辞
著者らは、ガイドラインベースの検索拡張型世代チャットボットの開発における豊富な技術的支援をいたいた井上健一医師(湘南記念病院乳房センター)に感謝しています。また、著者らは本論文で扱ったテーマに関して貴重な助言を提供してくれた山木千佳子博士および国立がんセンター(東京)の研究チーム全メンバーに感謝します。さらに、著者たちは英語版編集に感謝しています。この研究は、健康・労働科学研究助成金(R6–がん制御–23EA1026)によって支援されました。
....アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
材料
```html
```
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| Beautiful Soup 4 (version 4.12.3) | Beautiful Soup プロジェクト | N/A | URLの抽出とHTMLの解析に使用されるPythonライブラリ |
| ChatGPT version 4o | OpenAI | N/A | キーワード生成に使用 |
| GPT-3.5-turbo | OpenAI | N/A | 応答生成に使用 |
| 肺がん患者と家族のためのJLCSガイドブック | 日本肺癌学会 | N/A | 参照情報として使用されるウェブベースの臨床実践ガイドライン |
| MeCab (version 0.996) | MeCab プロジェクト | N/A | 日本語形態素解析器 |
| OpenAI API | OpenAI | N/A | AIベースの応答生成に使用 |
| Python (version 3.12) | Python ソフトウェア財団 | N/A | プログラミング環境 |
| Requests (version 2.32.3) | Requests プロジェクト | N/A | ウェブページの取得に使用されるPythonライブラリ |
| scikit-learn (version 1.6.1) | scikit-learn 開発者 | N/A | TF–IDF ベクトル化と余弦類似度計算に使用 |
| urllib.parse | Python ソフトウェア財団 | N/A | URL の正規化と結合に使用される Python ライブラリ |
参考文献
- Helft PR, Hlubocky F, Daugherty CK. American oncologists' views of internet use by cancer patients: a mail survey of American Society of Clinical Oncology members. J Clin Oncol. 2003;21(5):942-947.
- Chen X, Siu LL. Impact of the media and the internet on oncology: survey of cancer patients and oncologists in Canada. J Clin Oncol. 2001;19(23):4291-4297.
- Goto Y, et al. Differences in the quality of information on the internet about lung cancer between the United States and Japan. J Thorac Oncol. 2009;4(7):829-833.
- Ogasawara R, et al. Reliability of cancer treatment information on the internet: observational study. JMIR Cancer. 2018;4(2):e10031. ....
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。