Ontwikkeling van een op richtlijnen gebaseerde Retrieval-Augmented Generation Chatbot met verwijzing naar webgebaseerde klinische praktijkrichtlijnen voor kanker

Samenvatting

Dit protocol beschrijft de ontwikkeling en evaluatie van een op richtlijnen gebaseerde retrieval-augmented generation chatbot die inhoud ophaalt en samenvat uit webgebaseerde klinische richtlijnen voor kanker om referentie-gebaseerde antwoorden op gebruikersvragen te genereren.

Samenvatting

De brede beschikbaarheid van medische informatie op het internet heeft de toegang tot gezondheidsgerelateerde kennis voor patiënten verbeterd; Echter, het heeft ook de blootstelling aan onjuiste medische informatie vergroot. Kankerzorg omvat complexe informatie, waardoor het voor patiënten moeilijk is om nauwkeurige en op bewijs gebaseerde bronnen te identificeren. Grote taalmodellen maken natuurlijke taalinteractie mogelijk, maar veroorzaken vaak hallucinaties, waardoor hun toepassing in de levering van medische informatie beperkt wordt. Retrieval-augmented generation (RAG) heeft het potentieel om deze risico's te beperken door antwoorden te verankeren in externe referentiebronnen. Deze studie beschrijft de ontwikkeling en evaluatie van een op richtlijnen gebaseerde RAG-chatbot die gebruikmaakt van publiek toegankelijke, webgebaseerde klinische richtlijnen voor kanker. Het systeem extraheert URL's uit de inhoudsopgavepagina's van een richtlijn, verwerkt paginatekst met morfologische analyse en cosinusgelijkenis op basis van termfrequentie–inverse documentfrequentie, en construeert referentie-informatie van zeer relevante pagina's. Een groot taalmodel gebruikt deze referenties om antwoorden te genereren die beperkt zijn tot richtlijninhoud. De JLCS Guidebook for Lung Cancer Patients and Families werd als referentierichtlijn gebruikt. De vragensets omvatten zowel in-scope kankertypen die door de richtlijn worden behandeld als out-of-scope kankertypen om responscontrole te evalueren. Medische informatie werd succesvol geëxtraheerd uit de inhoudsopgavepagina's, waarbij 98% van de geëxtraheerde URL's referentiewaardige medische inhoud bevatte. Voor vragen binnen de scope genereerde de chatbot antwoorden door de richtlijninhoud samen te vatten, en er werden geen hallucinaties vastgesteld tijdens handmatige beoordeling onder de gedefinieerde testvoorwaarden. Voor vragen buiten de scope weigerde de chatbot consequent te antwoorden en gaf aan dat de beschikbare informatie onvoldoende was. De webstructuur van de richtlijn maakte efficiënt scrapen en organiseren van referentie-inhoud op URL-niveau mogelijk. Dit protocol biedt praktische richtlijnen voor het construeren van kunstmatige intelligentiesystemen die medische informatie leveren met behulp van webgebaseerde klinische praktijkrichtlijnen.

Inleiding

Het wijdverbreide gebruik van internet en sociale media heeft het voor patiënten gemakkelijker gemaakt om toegang te krijgen tot medische informatie ^1,2. Kankerzorginformatie is vaak complex en uitgebreid, waardoor het voor patiënten bijzonder moeilijk is om bronnen te identificeren die nauwkeurig, relevant en gebaseerd zijn op wetenschappelijk bewijs³. Hoewel online bronnen het begrip van patiënten kunnen ondersteunen, bevatten ze ook aanzienlijke hoeveelheden onjuiste medische informatie³, wat de beslissingen van patiënten over hun zorg negatief kan beïnvloeden⁴. Omdat kankergerelateerde desinformatie patiëntuitkomsten kan beïnvloeden⁵, is er een toenemende behoefte aan kunstmatige intelligentie (AI)-systemen die individuele gebruikers kunnen helpen medische informatie te zoeken, samen te vatten en te interpreteren⁶.

Grote taalmodellen (LLM's) stellen gebruikers in staat informatie te benaderen via natuurlijke taalconversatie⁷; Echter, het ontstaan van desinformatie (d.w.z. hallucinaties) blijft een serieuze zorg in de medische sector 8,9,10,11. Een belangrijke bron van desinformatie is de kwaliteit en nauwkeurigheid van de trainingsdata die is gebruikt om de chatbot te ontwikkelen. Bovendien betekent het statische karakter van modeltraining dat kennis na verloop van tijd verouderd kan raken, waardoor LLM's in staat zijn actuele en contextueel passende informatie te leveren^{beperkt 12,13}. Deze beperkingen benadrukken het belang van effectieve kennisbeheerstrategieën om ervoor te zorgen dat chatbot-antwoorden accuraat, relevant en up-to-date blijven. Met name systemen die gemakkelijk toegang hebben tot en verwijzen naar actuele evidence-based bronnen, zoals richtlijnen voor klinische praktijk, zijn wenselijk in medische omgevingen, waar aanbevelingen en zorgstandaarden voortdurend evolueren. Om deze uitdaging aan te pakken, heeft retrieval-augmented generation (RAG), die antwoorden genereert door informatie uit externe kennisbronnen te integreren, steeds meer aandacht gekregen^van 10,13,14,15,16,17.

Hoewel RAG steeds vaker wordt toegepast op medische chatbots, is er weinig aandacht besteed aan hoe klinische praktijkrichtlijnen systematisch als referentiebronnen moeten worden opgenomen¹⁸. Veel richtlijnen voor de klinische praktijk zijn openbaar beschikbaar op het web; het blijft echter onduidelijk of hun bestaande webstructuur direct kan dienen als een opzoekframework voor RAG-systemen¹⁸. Daarnaast zijn praktische methoden voor het construeren van referentie-informatie zonder handmatige kennisontwikkeling nog niet goed vastgesteld.

In deze studie wilden we ontwerpprincipes vaststellen voor richtlijnreferentie-AI-systemen in de medische sector door het ontwikkelen en evalueren van een op richtlijnen gebaseerde RAG-chatbot die gebruikmaakt van publiek toegankelijke, webgebaseerde klinische richtlijnen voor kanker, waardoor eenvoudige en tijdige toegang tot richtlijngebaseerde informatie mogelijk wordt. Als proof of concept evalueerden we de technische haalbaarheid van richtlijnenopvraging, responsgeneratie en responsbeperking met behulp van de bestaande webstructuur van publiek beschikbare klinische praktijkrichtlijnen, met als doel een reproduceerbaar ontwikkelingsprotocol voor richtlijnreferentie-RAG-systemen voor te stellen.

Protocol

Deze studie betreft geen menselijke proefpersonen die bescherming nodig hebben tegen risico's die bij onderzoek horen. Daarom vereist het geen beoordeling door een institutionele beoordelingscommissie volgens de Japanse ethische richtlijnen voor medisch onderzoek met menselijke proefpersonen¹⁹. Deze studie wordt gerapporteerd in overeenstemming met de Transparent Reporting of a Multivariable Model for Individual Prognosis or Diagnosis (TRIPOD)-LLM richtlijnen²⁰.

Zie Figuur 1 voor een schematisch overzicht van het op richtlijnen gebaseerde RAG-chatbotprotocol.

Figuur 1. Werkwijze van het Guideline-Based Retrieval-Augmented Generation (RAG) Chatbot Protocol. Schematisch overzicht van de op richtlijnen gebaseerde RAG-chatbotworkflow. URL's worden gehaald uit de inhoudsopgave van een webgebaseerde klinische praktijkrichtlijn en gebruikt om referentie-informatie te construeren. Gebruikerszoekopdrachten worden omgezet in trefwoorden, en de inhoud van de webpagina wordt verwerkt via tokenisatie, vectorisatie van termfrequentie–inverse documentfrequentie en cosinusgelijkheidsanalyse om relevante richtlijnpagina's te identificeren. Geselecteerde referentie-informatie wordt geïntegreerd en verstrekt aan een groot taalmodel om antwoorden te genereren op basis van uitsluitend de geraadpleegde richtlijninhoud. Het rechterpaneel vat de evaluatie-items samen die zijn gebruikt voor geëxtraheerde URL's, referentie-informatie en chatbotreacties. Klik hier om een grotere versie van deze figuur te bekijken.

1. Voorbereiding van referentie-informatie uit webgebaseerde richtlijnen

1. Haal alle URL's uit de inhoudsopgavepagina's van de doelgerichte webgebaseerde klinische praktijkrichtlijnen met behulp van BeautifulSoup 4 (HTML parsing library) geïmplementeerd in de programmeertaal Python (versie 3.12).
   OPMERKING: Implementeer het URL-extractiescript met de programmeertaal met de volgende pakketten: HTML parsing library (versie 4.12.3) en requests (webpage retrieval library; versie 2.32.3). Installeer pakketten met pip. De volledige broncode voor URL-extractie wordt verstrekt in Supplementair Bestand 1. Zie de Materiaaltabel voor details over de software.
2. Controleer handmatig alle geëxtraheerde URL's om succesvolle toegang en relevantie voor de doelgerichte klinische praktijkrichtlijn te bevestigen.
3. Classificeer elke URL als bevattend met medische of niet-medische informatie. Voer URL-classificatie uit volgens één auteur (S.N.).
   OPMERKING: Medische informatie werd gedefinieerd als referentie-richtlijninhoud, inclusief klinische vragen (CQ's), achtergrondvragen en vragenreeksen. Niet-medische informatie omvatte links, verenigings- of organisatiepagina's en andere aanvullende inhoud die niet geschikt was voor naslagwerk.
4. Verzamel de gevalideerde URL's in een Microsoft Excel-werkboek (.xlsx formaat), met één URL per rij geregistreerd. Sla de resulterende URL-lijst op als invoerdataset voor latere tekstopvraging, preprocessing en gelijkenisanalyses.

2. Trefwoordgeneratie op basis van gebruikerszoekopdrachten

1. Voer de natuurlijke taalquery in in ChatGPT (Generative Pre-trained Transformer, versie 4o; sleutelwoordgeneratiemodel).
2. Vraag het model om twee trefwoorden te extraheren die overeenkomen met de gebruikersquery.
3. Gebruik de volgende prompt, geschreven in het Japans, voor trefwoordgeneratie:
   ""
   (Engelse vertaling: "Haal twee trefwoorden uit de volgende tekst.")
4. Voeg de natuurlijke taalzoekopdracht van de gebruiker toe aan deze instructie en dien deze in bij het sleutelwoordgeneratiemodel voor trefwoordgeneratie.
5. Pas geen modelparameters handmatig aan. Voer trefwoordgeneratie uit met de standaardinstellingen van het sleutelwoordgeneratiemodel.
6. Genereer twee trefwoorden voor elke gebruikerszoekopdracht. Bebehoud beide trefwoorden zonder verdere wijziging, filtering of handmatige selectie, en gebruik ze voor latere gelijkenisberekeningen.
7. Sla de gegenereerde trefwoorden op in een Microsoft Excel-werkboek (.xlsx formaat). Voor elk record slaat je de originele gebruikersquery en de bijbehorende gegenereerde trefwoorden op voor latere gelijkenisgebaseerde opvraging.

3. Tekstverwerking en gelijkenisberekening

1. Haal de volledige tekstinhoud op van elke geëxtraheerde URL met behulp van de webpagina-ophaalbibliotheek en HTML-parsingsbibliotheek. Haal tekstinhoud uit de HTML-bron met behulp van de BeautifulSoup get_text()-functie.
2. Verwerk de geëxtraheerde webpaginatekst en gegenereerde trefwoorden vooraf door HTML-tags en niet-Japanse tekens te verwijderen.
3. Voer Japanse morfologische analyse uit met MeCab (versie 0.996; Japanse morfologische analyzer) met het standaardwoordenboek. Behou alleen zelfstandige naamwoorden en voeg deze samen tot een spatie-gescheiden tekststring.
4. Combineer de gegenereerde trefwoorden tot één tekstreeks en pas dezelfde preprocessing- en tokenisatieprocedures toe die voor webpaginatekst worden gebruikt.
5. Genereer termfrequentie–inverse documentfrequentie (TF–IDF) vectoren uit de verwerkte webpaginatekst en trefwoordtekst met behulp van de TfidfVectorizer-implementatie in de scikit-learn-bibliotheek (versie 1.6.1) met standaardparameterinstellingen.
   OPMERKING: Alle TfidfVectorizer-parameters bleven op hun standaardwaarden en er werden geen aangepaste parameterinstellingen toegepast.
6. Bereken de cosinusgelijkenis tussen elke webpaginavector en de zoekwoordvector met behulp van de cosinusgelijkheidsfunctie.
7. Rangschik URL's in aflopende volgorde volgens cosinusgelijkheidsscores. Pas geen extra criteria toe om gelijke stand te beslissen.
8. Selecteer pagina's met een cosinusgelijkenisscore van ≥0,2 als kandidaatreferentie.
   OPMERKING: De cosinusgelijkenisdrempel (0,2) werd empirisch gekozen tijdens de systeemontwikkeling om het terugroepen van retrieval prioriteit te geven en te voorkomen dat mogelijk relevante richtlijninhoud wordt uitgesloten.
9. Houd alle kandidatenpagina's die aan de gelijkenisdrempel voldoen.

4. Constructie van referentie-informatie

1. Haal achtereenvolgens de tekstinhoud van de geselecteerde pagina's uit de bovenkant van de gerangschikte lijst.
2. Verbind de geëxtraheerde teksten tot één referentiedocument.
3. Vervang vóór indiening bij de LLM regelnieuwe en opeenvolgende witspatietekens in de referentietekst door één spatie.
4. Kort de samengevoegde referentietekst af tot de eerste 4.096 tekens voordat deze aan de LLM wordt gegeven.
   OPMERKING: De afkortingslimiet was gebaseerd op tekens in plaats van tokens. Een limiet van 4.096 tekens werd empirisch geselecteerd om ervoor te zorgen dat de gecombineerde prompt- en referentieinformatie binnen de invoercapaciteit van het GPT-3.5-turbo-16k responsgeneratiemodel bleef.

5. AI-gebaseerde responsgeneratie

1. Geef de geconstrueerde referentie-informatie en de oorspronkelijke gebruikersquery aan het responsgeneratiemodel via de application programming interface (API).
2. Geef de AI instructies met de volgende prompt (volledig in het Japans geschreven) om ervoor te zorgen dat antwoorden uitsluitend worden gegenereerd op basis van de verstrekte referentiegegevens:
   "Je bent een medisch informatie-assistent die begeleiding geeft aan kankerpatiënten. Genereer antwoorden uitsluitend op basis van de volgende referentiegegevens en gebruik geen eigen algemene kennis of redenering. De antwoorden moeten gedetailleerd en gemakkelijk te begrijpen zijn, ongeveer 500 tekens lang. Als de referentie-informatie niet voldoende informatie bevat om de vraag te beantwoorden, reageer dan met: 'Er is onvoldoende informatie in de tekst,' zonder gebruik te maken van speculatie of algemene kennis."
3. Geef de referentie-informatie en gebruikersquery samen in één gebruikersbericht. Structureer de invoer als: "Referentie-informatie: [referentietekst]" gevolgd door "Vraag: [gebruikersquery]".
4. Genereer antwoorden met het responsgeneratiemodel met de volgende instellingen: temperatuur = 0,1, maximale uitvoerlengte = 1.024 tokens, n = 1, en stop = geen.
5. Verkrijg het door AI gegenereerde antwoord voor latere evaluatie.
   OPMERKING: Dien de referentiegegevens en gebruikersquery in als één enkel gebruikersbericht. Geef de responsgeneratie-instructies apart als een systeembericht.

6. Referentierichtlijn en vraagformulering

1. Selecteer de JLCS Guidebook for Lung Cancer Patients and Families (Lung Guidebook)²¹, die gratis online beschikbaar is, als referentie-informatie voor het op richtlijnen gebaseerde RAG-chatbotsysteem.
2. Creëer twee categorieën evaluatievragen op basis van het type kanker: thymische tumoren, die binnen de richtlijn vallen, en pediatrisch glioom, dat buiten de bestek van de geraadpleegde informatie valt.
3. Formuleer vier vragen over diagnose en behandeling voor elk type kanker:
   "Welke diagnostische methoden zijn beschikbaar voor XX (bijv. thymische of pediatrische glioom) tumoren?"
   "Wat zijn de pathologische diagnostische benaderingen voor XX-tumoren?"
   "Welke behandelingsopties zijn er beschikbaar voor XX-tumoren?"
   "Wat zijn de chirurgische behandelingsopties voor XX-tumoren?"
4. Stuur vragen over kankertypen die door de genoemde online gids worden behandeld naar de chatbot. Stel bijvoorbeeld een vraag over de diagnose thymische tumor terwijl je de Longgids als referentie gebruikt.
5. Stuur vragen buiten het bereik van de referentierichtlijn naar de chatbot om zijn vermogen te evalueren om geen externe of niet-gerelateerde informatie te gebruiken. Stel bijvoorbeeld een vraag over pediatrisch glioom terwijl je de Lung Guidebook als referentie gebruikt.
6. Evalueer elke vraag in een onafhankelijke chatsessie. Neem geen gespreksgeschiedenis mee tussen de vragen door.
7. Noteer de door AI gegenereerde antwoorden voor latere evaluatie.

7. Responsevaluatie

1. Voer een handmatige controle uit van alle gegenereerde reacties.
2. Beoordeel of elke reactie hallucinaties bevat.
3. Beoordeel of elk antwoord wordt ondersteund door informatie uit de referentierichtlijn.
   OPMERKING: Hallucinaties werden gedefinieerd als reacties die niet-bestaande gebeurtenissen, namen of termen bevatten die mogelijk medische schade konden veroorzaken¹⁴. Alle gegenereerde antwoorden werden door één auteur met 8 jaar ervaring in een universitair ziekenhuis beoordeeld op juistheid en afwezigheid van hallucinaties. Eventuele onzekerheid over responsclassificatie werd opgelost door overleg met een arts die coauteur is en meer dan 20 jaar ervaring heeft in kankerinformatiediensten bij het National Cancer Center Japan.
4. Beschouw een antwoord als alleen ondersteund wanneer alle klinisch relevante uitspraken direct kunnen worden bevestigd uit de opgehaalde referentierichtlijn zonder dat extra kennis of niet-onderbouwde inferentie vereist is.
5. Classificeer elke respons met behulp van vooraf gedefinieerde uitkomstlabels. Classificeer antwoorden die alleen informatie bevatten die door de referentierichtlijn wordt ondersteund als "hallucinaties afwezig." Classificeer antwoorden met niet-onderbouwde of gefabriceerde informatie als "aanwezige hallucinatie."

Resultaten

Terugvindbaarheid van medische inhoud via inhoudsopgavepagina's

De webscraping-architectuur verzamelde URL's van de inhoudsopgavepagina van de richtlijn. Uit de Longgids werden 106 URL's gehaald van de inhoudsopgavepagina, waarvan 104 (98%) medische informatie bevatten (Aanvullende Tabel 1). De effectiviteit van de chatbot-antwoorden op basis van de richtlijnen-inhoudspagina's wordt samengevat in Tabel 1. De chatbot genereerde antwoorden voor alle vier de klinische trefwoorden wanneer de vragen binnen de reikwijdte van de richtlijn vielen. Voor "thymische tumordiagnose" en "pathologische diagnose" werden voor elk trefwoord drie gerelateerde URL's geëxtraheerd, en alle geëxtraheerde URL's werden als effectief beschouwd (100%). Voor "behandelmethoden" en "chirurgische behandeling" werden 15 URL's per zoekwoord geëxtraheerd, met 14 effectieve items (93%).

Query	Trefwoorden	Geraadpleegde inhoudsitems, n	Effectieve referentie-items, n (%)
Welke diagnostische methoden zijn beschikbaar voor thymische tumoren?	Diagnose thymische tumor	3	3 (100)
Wat zijn de pathologische diagnostische benaderingen voor thymische tumoren?	Pathologische diagnose van thymische tumoren	3	3 (100)
Welke behandelingsopties zijn er beschikbaar voor thymische tumoren?	Methoden voor de behandeling van thymische tumoren	15	14 (93)
Wat zijn de chirurgische behandelingsopties voor thymische tumoren?	Thymische tumorchirurgie	15	14 (93)

Tabel 1: Inhoud van referentie-informatie en chatbot-antwoorden gebaseerd op de JLCS Guidebook for Lung Cancer Patients and Families. Samenvatting van de gebruikerszoekopdrachten, gegenereerde trefwoorden, aantal verwezen inhoudsitems geïdentificeerd via gelijkenisgebaseerde opvraging, en aantal effectieve referentieitems met medische informatie. Geraadpleegde inhoudsitems vertegenwoordigen het totale aantal gerelateerde webpagina's dat op URL-niveau is geïdentificeerd op basis van elk trefwoord. Effectieve referentie-items vertegenwoordigen het aantal en het percentage unieke webpagina's met medische informatie, nadat dubbele URL's en niet-medische webpagina's zijn uitgesloten.

Chatbot-antwoorden op vragen binnen scope

Tabel 2 toont de antwoorden van de chatbot op vragen die binnen de reikwijdte van de gegeven richtlijn vielen. Wanneer voldoende referentie-informatie beschikbaar was, genereerde de chatbot antwoorden door relevante delen van de richtlijntekst samen te vatten. De gegenereerde antwoorden bestonden uit ongeveer 350 Japanse tekens. Er werden geen hallucinaties vastgesteld tijdens handmatige beoordeling onder de gedefinieerde testomstandigheden. Voor deze vragen binnen scope ondersteunden meerdere effectieve gerefereerde items het genereren van antwoorden (Tabel 1). De gegenereerde Japanse tekst werd vertaald naar het Engels met ChatGPT versie 5.2 en vervolgens door de onderzoekers beoordeeld op nauwkeurigheid en consistentie met de oorspronkelijke Japanse antwoorden.

Query	Reacties					Aantal personages
Welke diagnostische methoden zijn beschikbaar voor thymische tumoren?	De diagnose van thymische tumoren vereist zowel beeldvorming als pathologische diagnose. Voor beeldvorming worden een CT-CT van de borst en een MRI van de borst uitgevoerd. Thymoom en thymisch carcinoom zijn solide tumoren die geen lucht- of vloeistofcomponenten in de tumor bevatten, en invasie in het omliggende normale weefsel is bekend als mild bij thymoom en uitgesprokener bij thymisch carcinoom. Wanneer beeldvormingsonderzoeken vaststellen dat er geen invasie is in omliggende weefsels of dat er geen tumoren ver van de primaire laesie (metastases) zijn, wordt de tumor chirurgisch verwijderd en wordt de pathologische diagnose gesteld met behulp van het chirurgische monster. Wanneer een chirurgische resectie moeilijk is, wordt een CT-geleide biopsie uitgevoerd en wordt een diagnose gesteld door een deel van het tumorweefsel te verwijderen. In pathologische diagnose worden thymomen geclassificeerd op basis van het aandeel normale lymfocyten binnen de tumor en de morfologie van tumorcellen, terwijl thymische carcinomen in detail worden geclassificeerd op histologische subtype. Voor het bepalen van het klinische stadium (stadium) wordt rekening gehouden met de mate van verspreiding van de thymische tumorlaesies, en worden tumoren geclassificeerd in stadia I tot IV op basis van drie stadieclassificatiesystemen.					366
Wat zijn de pathologische diagnostische benaderingen voor thymische tumoren?	Bij de pathologische diagnose van thymische tumoren wordt pathologisch onderzoek uitgevoerd door een deel of het gehele tumorweefsel te verkrijgen. Thymomen worden ingedeeld in subtypen zoals type A en type AB, gebaseerd op het aandeel normale lymfocyten in de tumor en de morfologie van de tumorcellen. Daarentegen is thymisch carcinoom een kwaadaardige tumor die wordt gekenmerkt door cellulaire atypie, en plaveiselcelcarcinoom is het meest voorkomende histologisch subtype. Door pathologische diagnose worden de biologische kenmerken en de mate van tumorprogressie geëvalueerd, wat nuttig is voor het kiezen van geschikte behandelstrategieën en het voorspellen van de prognose. Daarnaast maakt pathologische diagnose van thymische tumoren het mogelijk om het ziektestadium (stadium) te bepalen, wat belangrijke informatie biedt voor de behandelplanning. Klinische stadiering wordt geclassificeerd volgens drie systemen—de Masaoka-classificatie, de Masaoka–Koga-classificatie en de UICC–TNM-classificatie—en tumoren worden ingedeeld in vier fasen, van stadium I tot stadium IV, afhankelijk van de mate van tumorverspreiding en invasie. Pathologische diagnose biedt onmisbare informatie voor de juiste behandeling en prognostische evaluatie van thymische tumoren.					330
Welke behandelingsopties zijn er beschikbaar voor thymische tumoren?	De behandelingsopties voor thymische tumoren omvatten chirurgische behandeling (chirurgie), bestraling en medicamenteuze therapie (chemotherapie). De operatie wordt uitgevoerd als een ingreep waarbij de thymus volledig wordt verwijderd samen met de tumor, en bij thymoom is extra behandeling mogelijk niet nodig. Bij thymisch carcinoom kan postoperatieve bestraling worden toegevoegd wanneer de kanker zich heeft verspreid naar omliggende weefsels. Chemotherapie of chemoradiotherapie wordt uitgevoerd in gevallen waarin een operatie moeilijk is of wanneer er sprake is van recidief of verre uitzaaiingen, en deze worden gebruikt als onderdeel van medicamenteuze therapie. Daarnaast wordt bij gevorderde of recidiverende thymische carcinoom een behandeling uitgevoerd gericht op chemotherapie, en multimodale therapie die chirurgie en bestraling combineert, kan indien nodig worden toegediend. Bovendien kan lenvatinib, een moleculair gericht therapeutisch middel, worden gebruikt voor gevorderde of terugkerende thymische carcinoom na chemotherapie. De juiste combinatie van behandelmethoden wordt geselecteerd op basis van de ziektesituatie en de klinische status van de patiënt.					342
Wat zijn de chirurgische behandelingsopties voor thymische tumoren?	Chirurgische behandeling voor thymische tumoren wordt uitgevoerd wanneer de tumor volledig resectabel wordt beoordeeld. Bij chirurgie is het over het algemeen standaardpraktijk om de gehele thymus samen met de tumor te verwijderen. In gevallen van thymoma, als de tumor volledig is verwijderd, is geen verdere behandeling nodig. Daarentegen kan bij thymisch carcinoom, wanneer kanker invasie in omliggende weefsels aanwezig is, adjuvante postoperatieve bestraling worden toegevoegd. Wanneer een operatie als moeilijk wordt beoordeeld, wordt eerst chemotherapie of chemoradiotherapie uitgevoerd, waarna een operatie wordt overwogen als het haalbaar is. Als de operatie niet kan worden uitgevoerd, kan chemotherapie of chemoradiotherapie worden voortgezet. Bovendien kan, zelfs wanneer een operatie mogelijk is, als volledige resectie niet kan worden bereikt, postoperatieve bestraling of chemoradiotherapie worden toegediend om de resterende tumor te behandelen. De chirurgische behandeling wordt passend geselecteerd op basis van het tumortype en de mate van ziekteprogressie.					342

Tabel 2: Antwoorden gegenereerd door de Guideline-Based Retrieval-Augmented Generation (RAG) chatbot gebaseerd op de JLCS Guidebook for Lung Cancer Patients and Families. Representatieve antwoorden gegenereerd door de op richtlijnen gebaseerde RAG-chatbot voor vragen met betrekking tot thymische tumoren met behulp van referentiegegevens afkomstig uit de JLCS Guidebook for Lung Cancer Patients and Families (https://www.haigan.gr.jp/public/guidebook/2024/). De tabel bevat de gebruikersquery, het door chatbot gegenereerde antwoord en de responslengte. Het aantal tekens werd gemeten in de originele Japanse antwoorden voordat het in het Engels werd vertaald met ChatGPT versie 5.2.

Chatbot-antwoorden op vragen buiten de scope

De antwoorden van de chatbot op vragen die buiten het bereik van de Longgids vielen, worden samengevat in Tabel 3. Hoewel een beperkt aantal inhoudsitems voor deze vragen werd genoemd, bepaalde het responsgeneratiemodel dat de beschikbare referentie-informatie onvoldoende was om een op bewijs gebaseerde respons te genereren. Daarom gaf de chatbot antwoorden terug die aangaven dat er onvoldoende informatie was voor zoekopdrachten buiten de scope. De uitspraken "Er is onvoldoende informatie in de tekst" en "Er zijn geen referenties." waren vooraf gedefinieerde antwoorden die in de systeemprompt waren gespecificeerd. De eerste werd teruggegeven wanneer de teruggehaalde referentie-informatie onvoldoende was om de vraag te beantwoorden, terwijl de tweede werd teruggegeven wanneer er geen referentie-informatie werd opgehaald.

Query	Trefwoorden	Geraadpleegde inhoudsitems, n	Chatbot-respons
Welke diagnostische methoden zijn beschikbaar voor pediatrisch glioom?	Diagnose van pediatrische glioom	0	Er zijn geen referenties.
Wat zijn de pathologische diagnostische benaderingen voor pediatrisch glioom?	Pediatrische glioompathologische diagnose	13	Er is onvoldoende informatie in de tekst.
Welke behandelingsopties zijn er beschikbaar voor pediatrisch glioom?	Behandelingsmethoden voor pediatrische gliomen	13	Er is onvoldoende informatie in de tekst.
Wat zijn de chirurgische behandelingsopties voor pediatrisch glioom?	Pediatrische gliomachirurgie	12	Er is onvoldoende informatie in de tekst.

Tabel 3: Chatbotantwoorden op vragen buiten de scope op klinisch vraagniveau gebaseerd op de JLCS Guidebook for Lung Cancer Patients and Families. Antwoorden gegenereerd door de richtlijn-gebaseerde retrieval-augmented generation (RAG) chatbot op vragen buiten het bereik van de referentierichtlijn. De tabel vat gebruikerszoekopdrachten, gegenereerde trefwoorden, het aantal geïdentificeerde contentitems samen via gelijkenisgebaseerde opvraging, en de resulterende chatbot-reacties. Geraadpleegde inhoudsitems vertegenwoordigen het totale aantal gerelateerde webpagina's dat op URL-niveau is geïdentificeerd op basis van elk trefwoord. Effectieve referentie-items werden niet berekend voor vragen buiten de scope omdat de opgehaalde inhoud geen informatie bevatte die relevant was voor de geraadpleegde ziekte.

Aanvullend dossier 1. Python-code voor URL- en tekstextractie uit webgebaseerde klinische praktijkrichtlijnen. De code die wordt gebruikt om URL's en webpaginatekst te extraheren uit de inhoudsopgavepagina's van webgebaseerde klinische praktijkrichtlijnen. De geëxtraheerde URL's en tekstinhoud werden gebruikt voor daaropvolgende tekstverwerking, gelijkenisanalyse en het opbouwen van referentiegegevens in de richtlijn-gebaseerde retrieval-augmented generation (RAG) chatbot-workflow. Klik hier om dit bestand te downloaden.

Aanvullende Tabel 1. Lijst van URL's die zijn geëxtraheerd van de webgebaseerde Guideline Table-of-Contents pagina en hun classificatie als medische of niet-medische informatie. URL's die werden gehaald uit de inhoudsopgave van de JLCS Guidebook for Lung Cancer Patients and Families werden handmatig beoordeeld en geclassificeerd als medische of niet-medische informatie. Medische informatie werd gedefinieerd als referentie-richtlijnen, waaronder klinische vragen (CQ's), achtergrondvragen, vragensets en aanvullende educatieve materialen die relevant zijn voor patiëntbegeleiding. Niet-medische informatie omvatte webpagina's van de samenleving of organisatie, navigatiepagina's, hyperlinks en andere aanvullende inhoud die niet als referentie werd gebruikt voor het genereren van antwoorden via chatbots. De tabel vat alle geëxtraheerde URL's en hun classificatie-uitkomsten samen. *URL's zijn gehaald uit de JLCS Guidebook for Lung Cancer Patients and Families inhoudsoverzichtpagina (https://www.haigan.gr.jp/public/guidebook/2024/). Klik hier om dit bestand te downloaden.

Discussie

In deze studie onderzochten we het nut van een op richtlijnen gebaseerde RAG-chatbot die een webgebaseerde klinische praktijkrichtlijn—de JLCS Guidebook for Lung Cancer Patients and Families—als referentiebron gebruikte. De chatbot genereerde antwoorden gebaseerd op de richtlijn door gebruik te maken van de webstructuur van de richtlijn en pagina's op te halen op basis van hun gelijkenis met gebruikerszoekopdrachten. Deze aanpak toonde aan dat gelijkenisgebaseerde retrieval gecombineerd met richtlijngerichte responsgeneratie betrouwbare en efficiënte medische informatielevering kan ondersteunen. Recente studies hebben zowel het potentieel als de beperkingen van LLM-gebaseerde medische chatbots benadrukt, met name wat betreft hallucinaties en responsbetrouwbaarheid 12,13,14. In tegenstelling tot eerdere studies die zich richtten op algemene chatbot-frameworks 10,12,13, demonstreert het huidige protocol een reproduceerbare, op richtlijnen gebaseerde RAG-benadering die patiëntrichtlijninhoud op URL-niveau ophaalt en antwoorden genereert die gebaseerd zijn op identificeerbare referentiegegevens. Deze studie biedt daarom een transparant protocol voor de levering van kankerinformatie in plaats van een volledig gevalideerd klinisch chatbotsysteem.

In plaats van de AI te trainen op het volledige richtlijncorpus, selecteerde ons systeem alleen de CQ's die het meest relevant zijn voor elke gebruikersquery als referentie-informatie (Figuur 1). De relevantie tussen de vragentekst en elke CQ werd kwantitatief geëvalueerd met behulp van de op programmeertaal gebaseerde cosinusgelijkenisberekeningen met TF–IDF-vectorrepresentaties. Op basis van deze gelijkenisscores werden CQ's gerangschikt en geselecteerd in aflopende volgorde van relevantie, waardoor systematisch relevante informatiebronnen uit de richtlijn konden worden gehaald zonder afhankelijk te zijn van subjectief oordeel (Tabel 1). Bovendien hielp het samenvoegen van de teruggehaalde CQ-teksten en het presenteren ervan gezamenlijk aan de AI om een consistente bewijsbasis voor het genereren van antwoorden te behouden, waardoor de nauwkeurigheid en contextuele samenhang van de gegenereerde antwoorden verbeterden. In RAG-systemen hangt de generatie van correcte informatie in kritieke zin af van nauwkeurige en geschikte referentiebronnen¹⁴. Dit ontwerp stelde het systeem in staat om informatie te compenseren die niet voldoende door één CQ kon worden behandeld, wat bijdroeg aan meer uitgebreide en klinisch plausibele antwoorden. Daarnaast maakt RAG flexibele opvraging van actuele CQ-inhoud mogelijk en is het zeer geschikt voor evidence-based medische toepassingen^10,11. Hoewel richtlijngebaseerde RAG-benaderingen eerder zijn beschreven^11,18, verschilt het huidige protocol door het gebruik van de bestaande CQ-gebaseerde webstructuur van een patiëntgerichte richtlijn als het primaire retrieval-framework. Dit ontwerp biedt een transparante en reproduceerbare workflow die kan worden geïmplementeerd zonder handmatige kennisbasisopbouw of modelhertraining.

Belangrijk is dat de chatbot zijn antwoorden beperkte tot de reikwijdte van de genoemde richtlijn. Wanneer vragen buiten de richtlijn vielen, onthield het systeem zich expliciet van het genereren van antwoorden, waardoor het risico op niet-ondersteunde antwoorden werd verminderd. Het gebruik van cosinusgelijkenis om referentieselectie te controleren verbeterde de veiligheid en betrouwbaarheid van de gegenereerde antwoorden verder (Tabel 2). Referentiepagina's werden ook opgevraagd voor vragen buiten de reikwijdte van de richtlijn (Tabel 3). De cosinusgelijkheidswaarden waren hoger voor vragen binnen scope (0,20–0,65) dan voor vragen buiten scope (0,20–0,31; gegevens niet getoond), maar er werden nog steeds lage gelijkenisscores toegekend aan sommige richtlijnpagina's, zelfs wanneer de inhoud niet klinisch relevant was. Dit gebeurde omdat cosinusgelijkenis uitsluitend werd berekend op basis van trefwoordmatching tussen de zoekopdracht en de richtlijntekst. Belangrijk is dat deze laagrelevantieve referenties niet tot ongepaste antwoorden leidden, omdat de chatbot zich afhield van het genereren van antwoorden wanneer er onvoldoende referentie-informatie beschikbaar was. Er werden geen hallucinaties vastgesteld tijdens handmatige beoordeling onder de gedefinieerde testomstandigheden. De cosinus-gelijkenisdrempel van 0,2 werd empirisch geselecteerd tijdens voorlopige tests om de gevoeligheid en specificiteit van retrieval in balans te brengen. Hoewel deze drempel effectief was onder de huidige testomstandigheden, viel systematische evaluatie van de drempelgevoeligheid buiten het bereik van deze protocolstudie. Toekomstige studies zouden de effecten van alternatieve drempelinstellingen moeten onderzoeken met behulp van grotere benchmarkdatasets en kwantitatieve retrieval-metrics. Het waargenomen gedrag suggereert dat RAG-gebaseerde outputcontrole nuttig kan zijn in medische AI-toepassingen. De huidige evaluatie was echter gebaseerd op een beperkt aantal vragen binnen en buiten scope en was voornamelijk bedoeld als een proof-of-concept beoordeling van de voorgestelde workflow. Daarom moeten de bevindingen niet worden geïnterpreteerd als een volledige validatie van klinische nauwkeurigheid, veiligheid of generaliseerbaarheid.

Deze studie kent verschillende technische beperkingen. We gebruikten de Japanse morfologische analyzer en GPT-3.5-turbo-16k (LLM voor responsgeneratie). De LLM werd gekozen omdat het een breed beschikbaar en stabiel model was ten tijde van systeemontwikkeling en een reproduceerbare implementatie van de voorgestelde workflow mogelijk maakte. Morfologische analysatoren en LLM's hebben onderscheidende kenmerken; De keuze van modellen of bibliotheken beïnvloedt dus zowel de nauwkeurigheid van informatie-extractie als de inhoud van de gegenereerde antwoorden^22,23. Hoewel nieuwere modellen (bijvoorbeeld GPT-4- of GPT-5-klasse LLM's) de prestaties en^{externe validiteit} kunnen verbeteren, viel de evaluatie van alternatieve modellen buiten de reikwijdte van de huidige protocolstudie. Nieuwere LLM's kunnen verbeterde redeneervaardigheden, instructieopvolging en responskwaliteit bieden; het primaire doel van deze studie was echter het evalueren van de haalbaarheid van een op richtlijnen gebaseerd RAG-kader in plaats van de prestaties van verschillende LLM's te vergelijken. Verdere optimalisatie van deze componenten kan efficiëntere en nauwkeurigere responsgeneratie mogelijk maken, en validatie met verschillende modelconfiguraties is noodzakelijk om de generaliseerbaarheid van deze bevindingen te beoordelen. Daarnaast is het huidige protocol ontwikkeld met behulp van een Japanse richtlijn en Japanse morfologische analyse. Hoewel het retrieval-framework gebaseerd op TF–IDF-vectorisatie, cosinusgelijkenis en RAG in principe taalonafhankelijk is, zou implementatie in andere talen taalspecifieke tekstverwerkingstools en validatie vereisen. Hoewel deze studie beperkt was tot één richtlijn en daarom geen directe vergelijking van verschillende richtlijnstructuren toestaat, faciliteerde de CQ-niveau organisatie systematisch de extractie van richtlijninhoud en ondersteunde zij de constructie van referentie-informatie voor de richtlijngebaseerde RAG-chatbot. In het bijzonder speelde de webstructuur van de richtlijn—waarbij elke CQ gekoppeld is aan een unieke URL—een belangrijke praktische rol bij het efficiënt scrapen en organiseren van referentie-inhoud op URL-niveau. Richtlijnen met verschillende formaten, waaronder PDF-gebaseerde documenten of websites zonder CQ-niveau URL's, kunnen alternatieve segmentatie- en ophaalstrategieën vereisen. Daarom moet de generaliseerbaarheid van de huidige workflow naar andere richtlijnstructuren en medische specialismen nog worden vastgesteld. Toekomstig werk moet de toepasbaarheid van deze aanpak evalueren op meerdere ziekten, richtlijnformaten en informatiebronnen.

De bevindingen van deze studie bieden praktische richtlijnen voor het ontwerpen van richtlijnreferentie-AI-systemen en tonen aan dat een op richtlijnen gebaseerde RAG-chatbot die webgebaseerde klinische richtlijnen verwijst, potentie heeft als hulpmiddel voor het leveren van kankergerelateerde medische informatie. Deze studie is echter een proof-of-concept evaluatie bedoeld om de technische haalbaarheid van richtlijnenopvang, responsgeneratie en responsrestrictiemechanismen aan te tonen, en moet niet worden geïnterpreteerd als formele klinische validatie van een medisch informatiesysteem. Klinische effectiviteit, veiligheid en gebruikersuitkomsten zijn niet geëvalueerd en moeten nog worden vastgesteld in toekomstige studies. Vanuit ethisch en gebruikersveiligheidsperspectief kan het beperken van reacties tot richtlijn-ondersteunde informatie het risico op niet-ondersteunde of gehallucineerde reacties verminderen. Overmatig weigergedrag kan echter ook de tevredenheid van gebruikers en de waargenomen bruikbaarheid verminderen. Toekomstig werk moet daarom de balans tussen veiligheid en bruikbaarheid evalueren, terwijl passende waarborgen tegen desinformatie worden gehandhaafd. Door gebruik te maken van de informatiestructuur van webgebaseerde richtlijnen en gerichte antwoorden op gebruikersvragen, kan dit systeem dienen als een nuttig model voor toekomstige toepassingen van AI in de levering van medische informatie.

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Beautiful Soup 4 (versie 4.12.3)	Beautiful Soup Project	N/A	Python bibliotheek gebruikt voor URL-extractie en HTML-parsing
ChatGPT versie 4o	OpenAI	N/A	Gebruikt voor het genereren van trefwoorden
GPT-3.5-turbo	OpenAI	N/A	Gebruikt voor het genereren van reacties
JLCS Handleiding voor longkankerpatiënten en familie	Japan Lung Cancer Society	N/A	Webgebaseerde klinische praktijkrichtlijn gebruikt als referentie-informatie
MeCab (versie 0.996)	MeCab Project	N/A	Japanse morfologische analyzer
OpenAI API	OpenAI	N/A	Gebruikt voor AI-gebaseerde reactiegeneratie
Python (versie 3.12)	Python Software Foundation	N/A	Programmeeromgeving
Requests (versie 2.32.3)	Requests Project	N/A	Python bibliotheek gebruikt voor het ophalen van webpagina's
scikit-learn (versie 1.6.1)	scikit-learn Ontwikkelaars	N/A	Gebruikt voor TF–IDF vectorisatie en cosinus-similariteitsberekening.
urllib.parse	Python Software Foundation	N/A	Python bibliotheek gebruikt voor URL-normalisatie en -samenvoeging