Closed Domain Semantic Question Answering System als use case van op transformatoren gebaseerde BERT-modellen

Samenvatting

Deze studie ontwerpt een adaptief leersysteem voor het extraheren van kennis uit tekst om vragen te beantwoorden, waarbij het Google-BERT-, DistilBERT-, RoBERTa- en TF-IDF-model wordt vergeleken, met behulp van cosinusgelijkenis, op latentie en semantische generalisatie. Google-BERT presteert het beste, hoewel het systeem gevoelig blijft voor spelfouten, wat de noodzaak benadrukt van een sterke voorverwerking voor praktische toepassing.

Samenvatting

Om kennis uit tekstbestanden te halen en vragen van gebruikers te beantwoorden door de juiste informatie in context te vinden, is hiervoor een adaptief leersysteem ontworpen, zoals een Question Answering System (QAS). Deze focus stimuleert verder onderzoek naar direct-antwoordsystemen en het gebruik van grootschalige tests voor vraagbeantwoordingstaken (QA). Om dit mogelijk te maken, wordt een Semantic Closed-domain QA (SCD-QA) dataset, die zowel factoid als non-factoid vragen omvat, gebruikt in combinatie met vooraf getrainde transformatormodellen. In deze studie wordt het vermogen om gevolgtrekkingen te maken gemeten en vergeleken tussen drie vooraf getrainde transformatormodellen, zoals Google-BERT, DistilBERT en RoBERTa, op de SQuAD-dataset, en een klassiek op trefwoorden gebaseerd TF-IDF-model met cosinusgelijkenis. Uit de resultaten blijkt dat Google-BERT het beste presteert, met een gemiddelde Exact Match (EM)-score van 90,0 en een gemiddelde latentie van 1,27 s. Het systeem presteert ook goed op vragen met synoniemen, wat blijk geeft van een sterk begrip van de betekenis. Maar het presteert onvoldoende op vragen met spelfouten, wat aangeeft dat het gevoelig is voor spelfouten en een betere vroege verwerking in gebruik vereist.

Inleiding

Natural Language Processing (NLP) is een subdomein van Artificial Intelligence (AI) waar QAS kan worden geconstrueerd, waardoor computersystemen automatisch antwoorden op vraag¹ kunnen genereren. NLP richt zich voornamelijk op het begrijpen en interpreteren van geschreven taal op een manier die de cognitieve processen van het menselijk brein nabootst². Door deze taken uit te voeren, wordt NLP een cruciale techniek bij het construeren van een systeem dat in staat is om mensachtige reacties te genereren.

QAS, dat reageert op de vragen van de gebruiker, is een voorbeeld van hoe NLP wordt gebruikt³. QAS is een studiegebied dat onderzoek omvat uit verschillende domeinen met gemeenschappelijke problemen, zoals Information Retrieval (IR), Information Extraction (IE) en NLP. Op dit moment voeren hedendaagse zoekmachines voornamelijk taken uit voor het ophalen van documenten⁴. Met andere woorden, wanneer ze worden voorzien van specifieke trefwoorden, leveren deze zoekmachines uitsluitend een lijst met relevante documenten op, gerangschikt op basis van relevantie en met de gespecificeerde trefwoorden. Ze geven geen precies antwoord. Het doel van QAS is om individuen te helpen bij het vinden van nauwkeurige antwoorden op bepaalde vragen binnen beperkte vakgebieden⁵. De groepering van QAS kan worden gedaan op basis van de volgende categorieën die worden beschreven in Figuur 1⁶. Zowel de factoid als de non-factoid QAS werken met behulp van natuurlijke taal (NL) en zijn ontworpen om te reageren op vragen die in NL worden gesteld. Het systeem maakt gebruik van NLP-technieken om antwoorden te geven op basis van het beschikbare corpus⁷.

Figuur 1: Categorisering van QA-systemen. De figuur illustreert een mindmap van de primaire componenten van een QA-systeem. Centraal staat het QA-systeem, dat verschillende soorten vragen behandelt, waaronder feitjes, niet-feiten, hybriden, visuals, conversatievragen en meerkeuzevragen. Klik hier om een grotere versie van deze figuur te bekijken.

Deze studie presenteert een Semantic Closed-Domain Question Answering (SCD-QA) systeem voor het reageren op gebruikers in NL over Ph.D. toelatingsbeleid en -procedures. Het systeem gebruikt de Ph.D. regels en voorschriften PDF⁸ als kerncontext en implementeert het op transformatoren gebaseerde Bidirectional Encoder Representations from Transformers (BERT)^9-model als het belangrijkste raamwerk voor het genereren van antwoorden. Het doel is om een semantisch conversationele QAS op basis van FAQ's te ontwerpen die nauwkeurige antwoorden geeft op veelgestelde vragen, waardoor het voor nieuw toegelaten studenten gemakkelijker wordt om snel de essentiële informatie te vinden die ze nodig hebben.

Om dit doel te bereiken, werden drie algemeen bekende BERT-modellen op basis van transformatoren gebruikt: Google-BERT⁹, DistilBERT^10,11 en RoBERTa^12,13, allemaal getraind op de Stanford Question Answering Dataset (SQuAD)¹⁴. Hun prestaties werden beoordeeld aan de hand van twee kritische parameters: semantische matching, gemeten door Exact Match (EM)¹⁴, en model Latency¹⁵, geanalyseerd op gemiddelde reactietijden. Daarnaast werd een Vector Database (VD)^16,17 gebruikt om semantische inbeddingen op te slaan, waardoor het gemakkelijker werd om de meest semantisch relevante context voor de vraag van een gebruiker op te halen op basis van semantische gelijkenisscores.

Literatuuronderzoek

Op transformatoren gebaseerde modellen hebben het gebied van NLP gereviseerd en hebben aanzienlijke verbeteringen in QAS opgeleverd. De introductie van BERT⁹ heeft sterk de nadruk gelegd op transformatorarchitecturen als een essentieel onderdeel bij het ontwikkelen van robuuste en nauwkeurige QAS. In deze sectie wordt een uitgebreid overzicht gepresenteerd van recente verbeteringen in op transformatoren gebaseerde modellen en semantische inbeddingen, met een focus op hun relevantie voor de Semantic Conversational Dialogue (SeCD) QA. Er wordt een vergelijkende analyse uitgevoerd om de integratie van deze modellen in dit werk te rechtvaardigen, waarbij de nadruk wordt gelegd op hun levensvatbaarheid om zinvolle inzichten in het veld te genereren.

Op transformatoren gebaseerde architecturen zoals BERT, DistilBERT en RoBERTa gebruiken zelfaandachtsmethodologie om complexe contextuele relaties in tekst vast te leggen, waardoor ze ideaal zijn voor taken die veel semantisch begrip vereisen, zoals QAS. Deze modellen, samen met gespecialiseerde zinstransformatoren, genereren semantische inbeddingen en helpen om snel en nauwkeurig context op te halen door middel van vectorgebaseerde zoekopdrachten naar overeenkomsten in SeCD QA. Recent onderzoek richt zich op het verbeteren van deze modellen en het inbedden van technieken om de doorvoer, schaalbaarheid en efficiëntie te vergroten, vooral voor taakspecifieke toepassingen zoals SCD-QA.

Sengupta et ^al.18 introduceerden een creatieve benadering om Multiple-choice QAS (MCQAS) voor wetenschappelijk onderbouwde vragen te stimuleren door BERT-modellen te verfijnen. In hun raamwerk beoordeelden ze eerst de gedistribueerde semantische gelijkenis tussen de vraag-antwoordparen en voerden ze vervolgens deze gelijkenisscores, samen met originele kenmerken, in een classificatielaag in. Deze gecombineerde aanpak behaalde een F1-score van 90,2% op de SciQ-dataset, wat de doeltreffendheid van BERT benadrukt in taakspecifieke QAS's die genuanceerd begrip en nauwkeurige classificatie vereisen.

Cichecki et ^al.19 vergeleken ChatGPT en verfijnde BERT-modellen voor slimme ontwerpondersteunende systemen en ontdekten dat verfijnde BERT-modellen uitblinken in Large Language Models (LLM's) voor algemeen gebruik, zoals ChatGPT, op domeinspecifieke taken, met een F1-score van 88.5% op een op maat ontworpen dataset. De studie toont het belang aan van domeinspecifieke finetuning voor het verbeteren van de modelprestaties in gespecialiseerde toepassingen.

Guo et ^al.20 onderzochten de efficiëntie van taakspecifieke fine-tuning strategieën voor QAS's onder beperkte annotatiebudgetten. Hun werk onthulde dat een dubbele fine-tuning-aanpak - in eerste instantie op een algemene QA-dataset zoals SQuAD, gevolgd door fine-tuning op een taakspecifieke dataset - een significante vooruitgang van 15% in de F1-score op datasets zoals COVID-QA oplevert. Deze bevinding benadrukt de cruciale rol van sequentiële finetuning bij het verbeteren van de prestaties van SeCD QAS's.

Pudasaini en Shakya²¹ onderzochten de toepassing van verfijnde BERT-modellen voor QA in biomedische onderzoekspapers, waarbij ze EM- en F1-scores van respectievelijk 83,89% en 89,67% rapporteerden op een aangepaste biomedische QA-dataset afkomstig van PubMed. Door gebruik te maken van transfer learning met PubMedBERT, illustreerde hun techniek een opmerkelijk vermogen om complexe biomedische query's te verwerken, waarbij het potentieel van taakspecifieke finetuning op dit gebied werd benadrukt.

Baek et ^al.22 stelden het Knowledge-Augmented Language Model Prompting-raamwerk voor zero-shot Knowledge Graph (KG) QA voor. Deze benadering maakt gebruik van semantische overeenkomsten om relevante feiten uit een KG te halen en deze op te nemen in de invoervraag. Als gevolg hiervan behaalde het een F1-score van ongeveer 85% op KG-QA-datasets. Het werk illustreert het potentieel van het combineren van KG's en transformatormodellen en benadrukt de voordelen van kennisvergroting bij het verbeteren van QA-prestaties.

Hu et ^al.23 beschreven een QAS die is ontworpen voor het domein van de registratie van huishoudens, waarbij gebruik wordt gemaakt van een KG naast op BERT gebaseerde modellen (RoBERTa-BiLSTM-MultiHeadAttention) voor intentieclassificatie en semantische analyse. Door vragen te vereenvoudigen tot entiteiten met één gebeurtenis en intentierelaties, werd een hoge nauwkeurigheid bereikt bij het opvragen van gestructureerde gegevens. Bovendien benadrukt de schaalbaarheid van de methodologie naar andere domeinen het potentieel voor brede toepasbaarheid in KG-gebaseerde QAS.

Luo et ^al.24 introduceerden een op BERT gebaseerd schema voor Knowledge Base (KB) QA, waarbij een Multi-Granularity Pruning Model (MGPM) werd geïntegreerd met relatiebewuste aandacht. Hun aanpak bereikt een aanzienlijke nauwkeurigheid van 94,4% op SimpleQuestions, 68,6% op WebQuestionsSP en 63,7% op WebQuestions. Deze resultaten tonen de effectiviteit van BERT aan bij het benutten van semantische gelijkenis voor gestructureerde gegevensquery's. Over het algemeen benadrukt deze studie het potentieel van op transformatoren gebaseerde modellen voor KB-QA, met name in scenario's waarin exacte entiteits- en relatie-identificatie belangrijk zijn.

Wu et ^al.25 ontwierpen een retrieval-augmented generation framework voor QA in bouwmanagement, met een specifieke focus op veiligheids- en nalevingsvragen. Door op BERT gebaseerde semantische inbeddingen te integreren met een generatief transformatormodel en een taakspecifieke KG, behaalde hun aanpak een F1-score van 88,7% op een bouwgerelateerde QA-dataset. Deze studie toont het potentieel aan van het combineren van semantisch begrip met KG-gebaseerd ophalen om de nauwkeurigheid van een taakspecifieke QA-dataset voor bouwbeheer te verbeteren.

Peng et ^al.26 evalueerden systematisch LLM's, waaronder BERT- en GPT-gebaseerde modellen, voor medische QA. Door het contextuele begrip van BERT en de generatieve vaardigheden van GPT te combineren, gebruikten ze retrieval-augmented generation en domeinspecifieke fine-tuning om een F1-score van 86.2% te bereiken op een dataset van PubMed en klinische notities. Deze studie benadrukt het potentieel van ensemblemodellen om de nauwkeurigheid van inferentie in de gezondheidszorg te verbeteren, waar zowel context als nauwkeurige generatie van cruciaal belang zijn.

Gardazi et ^al.27 beoordeelden het gebruik van BERT in NLP-taken zoals QA, sentimentanalyse en Named Entity Recognition (NER). Hun analyse toonde aan dat nauwkeurig afgestemde BERT-modellen F1-scores van 85%-92% behalen op taakspecifieke QA-datasets zoals SQuAD. Dit toont aan dat BERT op betrouwbare wijze effectieve contextuele inbeddingen produceert en KG's toevoegt, waardoor het zeer geschikt is voor SeCD QAS.

Transformer-gebaseerde modellen zijn de doorslaggevende keuze geworden voor SeCD QAS's vanwege hun unieke vermogen om contextgevoelige verwerking vast te leggen, efficiënt te schalen en zich aan te passen aan domeinspecifieke taken. Tabel 1 illustreert dit doorslaggevende voordeel door op transformatoren gebaseerde modellen te vergelijken met alternatieve methoden die in deze studie zijn onderzocht 18,20,22,23,24,25.

Naderen	Belangrijkste kenmerken	Voordelen	Beperkingen	Metrische prestatiegegevens (SQuAD)	Geschiktheid voor use cases
Modellen op basis van transformatoren (BERT, RoBERTa, DistilBERT)	Bidirectionele contextmodellering, zelfaandacht, finetuning op domeinspecifieke gegevens 16, 17, 19, 24, 25	Hoge nauwkeurigheid, robuust semantisch begrip, schaalbaar met vectordatabases 18, 20, 22, 24, 25	Hogere rekenkosten, vereist pre-training 17, 18	EM: 80-90%, F1: 85-93% 16, 17, 19, 24, 25	Ideaal voor Closed Domain (CD) -QA, FAQ-systemen en semantisch zoeken 16, 17, 19, 20, 22, 24, 25
Traditionele, op regels gebaseerde systemen	Handgemaakte regels, trefwoorden 16	Lage rekenkosten, eenvoudige implementatie 16	Beperkte schaalbaarheid, slechte afhandeling van complexe query's 16, 18	EM: 50-60%, F1: 55-65% 16	Basis QAS met gestructureerde data 16
Terugkerende neurale netwerken (RNN's)	Sequentiële verwerking, LSTM/GRU-architecturen 19	Matige prestaties voor opeenvolgende taken 19	Worstelt met afhankelijkheden op lange termijn, langzamere gevolgtrekking 19, 9	EM: 65-75%, F1: 70-80% 19	Algemene NLP-taken, minder effectief voor CD-QA 19, 9
Op trefwoorden gebaseerde zoeksystemen	TF-IDF, BM25 algoritmen 18, 22	Snel ophalen, laag resourcegebruik 18, 22	Beperkt tot oppervlakkige matching, slecht semantisch begrip 18, 22	EM: 40-50%, F1: 45-55% 18, 22	Ophalen van documenten, niet geschikt voor nauwkeurige QAS 18, 22
Convolutionele neurale netwerken (CNN's)	Extractie van lokale kenmerken, convolutionele lagen 25	Efficiënt voor classificatie van korte tekst, snelle inferentie 25	Beperkt contextueel begrip, minder effectief voor complexe QAS 25	EM: 60-70%, F1: 65-75% 25	Tekstclassificatie, niet ideaal voor CD-QA 25
Grafiek neurale netwerken (GNN's)	Modellering op basis van grafieken, relationeel redeneren 20	Effectief voor multi-hop redeneren, legt documentrelaties vast 20	Hoge computationele complexiteit, vereist gestructureerde gegevens 20	EM: 70-80%, F1: 75-85% 20	Multi-hop QAS, minder geschikt voor single-context CD-QA 20
Op kennisgrafieken gebaseerde systemen	Gestructureerde kennisvertegenwoordiging, entiteit koppelen 21	Sterk voor gestructureerde gegevensquery's, maakt gebruik van externe kennis 21	Vereist vooraf gebouwde kennisgrafieken, beperkt tot bekende entiteiten 21	EM: 65-75%, F1: 70-80% 21	Domeinspecifieke QAS met gestructureerde gegevens 21
Modellen met verhoogde aandacht	Verbeterde aandachtsmechanismen, contextgerichte verwerking 24	Verbeterde focus op relevante tekstsegmenten, hoge nauwkeurigheid 24	Hogere rekenkosten, complexe implementatie 24	EM: 85-90%, F1: 88-92% 24	Complexe CD-QA, niet-factoïde vragen 24
Zak-met-woorden modellen	Woordfrequentie gebaseerde representatie 22	Eenvoudig, rekenkundig lichtgewicht 22	Slecht semantisch begrip, niet effectief voor complexe query's 22, 25	EM: 35-45%, F1: 40-50% 22	Basis tekst ophalen, niet geschikt voor QAS 22, 25
Hybride neurale modellen (CNN+RNN)	Combineert lokale en sequentiële verwerking 25	Brengt lokaal en contextueel begrip in evenwicht 25	Matige complexiteit, worstelt met lange contexten 25	EM: 68-78%, F1: 72-82% 25	Algemene NLP-taken, matig geschikt voor CD-QA 25
Statistische taalmodellen	Probabilistische woordassociaties 18	Snel voor eenvoudige query's, laag resourcegebruik 18	Beperkt contextueel begrip, slechte schaalbaarheid 18	EM: 45-55%, F1: 50-60% 18	Basis QAS, niet geschikt voor complexe CD-QA 18

Tabel 1: Vergelijking van transformatorgebaseerde modellen met andere benaderingen voor QAS. De tabel biedt een zij-aan-zij vergelijking van verschillende QA-systeembenaderingen, waaronder Transformer-Based Models, Rule-Based Systems, RNN's en andere. Het geeft een overzicht van hun belangrijkste kenmerken, sterke en zwakke punten, prestaties op SQuAD en de taken waarvoor ze het meest geschikt zijn, zoals CD-QA, semantisch zoeken en tekstclassificatie.

Het belangrijkste doel van dit onderzoek is om de toegang van studenten tot institutionele informatie te verbeteren door efficiënte, schaalbare en nauwkeurige SCD-QA-systemen in NLP te ontwikkelen. In het bijzonder past deze bevestigende studie vooraf getrainde transformatorgebaseerde modellen toe en valideert deze binnen het domein van Ph.D. toelatingsbeleid. Het doel is om hun doeltreffendheid en praktische haalbaarheid aan te tonen door semantische matching, modellatentiebeoordeling en VD-gestuurde semantische opvraging op te nemen. Deze aanpak biedt een diepgaande analyse voor het leveren van nauwkeurige, domeinspecifieke antwoorden in een gerichte institutionele context. Figuur 2 illustreert het holistische architecturale raamwerk van het systeem.

Figuur 2: Algemeen schema van het SCD-QA-systeem. De figuur illustreert een stroomdiagram van een QA-systeem dat gebruikmaakt van grote taalmodellen (LLM's). Het begint met een contextbestand en een gebruikersvraag, die worden afgehandeld door drie modellen: Google-BERT, DistilBERT en RoBERTa, en één op trefwoorden gebaseerd model: TF-IDF. Het systeem evalueert de prestaties van elk model aan de hand van een checklist en selecteert vervolgens de beste op basis van de resultaten. Klik hier om een grotere versie van deze figuur te bekijken.

Protocol

Uitgebreide theoretische basis

QAS-component: Het QAS-framework bestaat uit drie segmenten, zoals weergegeven in afbeelding 3: i) Vraagverwerkingsmodule (QPM), ii) Documentverwerkingsmodule (DPM) en iii) Antwoordextractie- en formuleringsmodule (AEFM). Het systeem ontvangt vragen die in twee hoofdcategorieën vallen: Factoid en Non-Factoid. Factoid-vragen gebruiken meestal vragende woorden zoals wat, waar, wanneer of wie, terwijl niet-factoid-vragen woorden gebruiken zoals hoe en waarom.

DPM: Uit de verstrekte lijst kan de gebruiker een specifieke passage selecteren. Vervolgens wordt elk token in de passage getagd met behulp van een Part-of-Speech (POS) Tagger. Als u werkwoorden wilt extraheren, identificeert u alle tokens die als werkwoorden zijn getagd. Combineer deze werkwoorden met een lijst van onconventionele werkwoorden en pas logica toe voor reguliere werkwoorden. Maak een gegevensstructuur (array) met de geëxtraheerde werkwoorden, hun tijden en hun -ing-vormen.

QPM: Het systeem ontvangt input in de vorm van een vraag van de gebruiker. De tekst wordt getokeniseerd met behulp van de StringTokenizer-klasse en de resulterende tokens worden opgeslagen in een afzonderlijke gegevensstructuur. Deze datastructuur wordt vervolgens teruggegeven voor verder gebruik binnen het programma.

AEFM: De eerste stap is het identificeren van het werkwoord in de gegeven vraag. Het werkwoord dat onlangs is geïdentificeerd, wordt nu gekoppeld aan de tokens die zijn gegenereerd tijdens de documentverwerkingsfase. De gekozen casus voor een specifiek type feitelijke vraag (zoals wat of wanneer) wordt gebruikt om het antwoord op een preciezere manier te extraheren en te construeren.

Voordat de gebruiker het soort vraag kiest, wordt de gebruiker eerst gevraagd om de passage van zijn keuze te selecteren. De QPM is verantwoordelijk voor het verwerken van de vraag van de gebruiker en het doorsturen ervan naar de AEFM. De AEFM maakt gebruik van de extracties die zijn verkregen uit de DPM en de verwerkte documenten die het getagde formaat van het originele invoerdocument bevatten. De module geeft de vereiste algoritmen door aan de formuleringsmodule om het gewenste antwoord te verkrijgen.

Figuur 3: Componenten van QAS. De afbeelding illustreert het vierstappenproces van een QA-systeem: Vraag, Vraagverwerking, Antwoordverwerking en Antwoord. Bij vraagverwerking classificeert het systeem de vraag. Bij antwoordverwerking worden documenten en passages gevonden en beoordeeld om het antwoord te produceren. Klik hier om een grotere versie van deze figuur te bekijken.

BERT-model: Om de associaties tussen woorden in een tekst te ontdekken, maakt de BERT-methode gebruik van een transformator. Er zijn twee mechanismen in een transformator - een encoder en een decoder²⁸, maar alleen de encoder is nodig voor BERT. BERT hanteert een tweerichtingsbenadering en scant systematisch de invoertekst om zichzelf de betekenis van woorden in hun context te leren. De encoder neemt als invoer een reeks tokens die zijn gevectoriseerd. De vectoren worden vervolgens ingevoerd in het neurale netwerk, dat een reeks vectoren produceert die de invoer weerspiegelen. De uitvoervector van een woord verandert afhankelijk van de zin waarin het voorkomt. De vector van een woord kan variëren, afhankelijk van de context waarin het wordt weergegeven; bijvoorbeeld, "like" in "Hij speelt graag cricket" heeft een andere vector dan "like" in "Zijn gezicht werd rood als een tomaat." De aanpak begint met een fase van tekstverwerking voordat wordt overgegaan naar de modelbouwfase. De stappen die het ETO neemt om de tekst te verwerken, worden besproken in de volgende paragraaf²⁸.

Tekstverwerking: Het BERT-model geeft invoertekst weer in overeenstemming met een voorgeschreven reeks principes. Bovendien draagt deze factor bij aan de verbeterde prestaties van het model. De input-inbedding in BERT bestaat uit een amalgaam van drie verschillende soorten inbeddingen²⁸.

Positie-inbeddingen (PE's): Om de ordergerelateerde informatie in de inbeddingen te leren, worden PE's gebruikt. PE's worden gebruikt om informatie over de orde te herstellen die verloren is gegaan in transformatoren. BERT ontwikkelt specifieke PE's voor elk punt in de invoersequentie. BERT beschikt over het vermogen om de positionele informatie van woorden in een zin over te brengen door gebruik te maken van PE's. Dit stelt BERT in staat om de volgorde of volgorde van woorden effectief vast te leggen en weer te geven.

Zinsinbeddingen (SE's): Om het model te helpen onderscheid te maken tussen de eerste en tweede zinnen, leert BERT bovendien een inbedding die uniek is voor elk van hen. Het is ook in staat om gepaarde zinnen te accepteren als invoer voor activiteiten zoals QA.

Token embeddings (TE's): TE's worden onderwezen voor elk token in de WordPiece-tokenwoordenschat. De woordenschat van WordPiece bestaat uit subwoordeenheden die zijn afgeleid van woorden die in het corpus worden gevonden. Ter illustratie zal deze woordenschatverzameling alle denkbare subwoorden van de term Vraag omvatten, inclusief Questio, Questi, enzovoort.

De invoerrepresentatie van een token wordt opgebouwd door de inbeddingen op segment- en positieniveau bij elkaar op te tellen. Hierdoor is het een uitgebreide inbeddingsbenadering die een schat aan informatie aan het model biedt. Figuur 4⁹ toont de inbeddingen van het BERT-model.

Figuur 4: INBEDDINGEN van het BERT. De afbeelding laat zien hoe invoerinbeddingen worden gemaakt voor een transformatormodel. Het begint met een invoervolgorde: [CLS] de [MASK] lucht is bewolkt [SEP] het zal regenen [SEP]. Elk token in de reeks krijgt zijn eigen inbedding, zoals E_the of E _[MASK]. Vervolgens worden voor elke zin zinsinbeddingen toegevoegd, zoals E_A voor de eerste en E_B voor de tweede. Positionele inbeddingen, gelabeld E₀ tot E₉, zijn ook opgenomen om de positie van elk token aan te geven. Deze worden allemaal gecombineerd om de uiteindelijke invoerinbeddingen te vormen. Dit cijfer is gewijzigd van⁹. Klik hier om een grotere versie van deze figuur te bekijken.

QAS-ontwerp met behulp van BERT: Onderzoek ter illustratie deze vraag in combinatie met een alinea uit een Wikipedia-artikel over Football League²⁸.

Vraag: Waar is de Football League opgericht?

Passage: In 1888 werd de Football League opgericht in Engeland en werd het de eerste van vele professionele voetbalcompetities. In de 20e eeuw groeiden verschillende soorten voetbal uit tot enkele van de meest populaire teamsporten ter wereld.

Antwoord: Engeland

Het BERT-model maakt gebruik van token-extractie uit zowel de vraag als de context en combineert deze vervolgens tot een uniforme invoer. Zoals eerder vermeld, begint het proces met het gebruik van een [CLS]-token, dat dient als indicator voor het begin van een zin. Bovendien wordt een [SEP]-scheidingsteken gebruikt om de vraag en de passage duidelijk te scheiden. Naast het [SEP]-token bevat BERT SE's om onderscheid te maken tussen de vraag en de passage²⁸ met het antwoord. Het ETO gebruikt twee SE's, een gewijd aan de vraag en een andere aan de passage, om een duidelijk onderscheid tussen beide te maken. De inbeddingen worden vervolgens gecombineerd met een one-hot representatie²⁸ van tokens om onderscheid te maken tussen de vraag en de passage. Dit proces wordt geïllustreerd in figuur 5.

Figuur 5: Weergave van de BERT-invoer. De afbeelding illustreert hoe invoerinbeddingen worden gegenereerd voor een op BERT gebaseerde QAS. Het begint met het token [CLS], dan de vraag Hoeveel? [SEP], en de passage BERT large is, elk met zijn zinsinbeddingen (A voor de vraag, B voor de passage). Token-, zins- en positionele inbeddingen worden gecombineerd om de uiteindelijke invoer te maken. Klik hier om een grotere versie van deze figuur te bekijken.

Vervolgens wordt de gecombineerde ingebedde representatie²⁸ van de vraag en context gebruikt als input in het BERT-model. De laatste verborgen laag van BERT is aangepast om SoftMax te gebruiken om kansverdelingen te genereren. Deze verdelingen bepalen de begin- en eindindices van een subtekenreeks binnen de invoertekstzin, die een antwoord vertegenwoordigt, zoals weergegeven in figuur 6, voor een visuele weergave.

Figuur 6: BERT-verwerkingsworkflow voor QA. De figuur laat zien hoe het BERT-model werkt voor QA. Het presenteert een invoersequentie die een vraag bevat, gemarkeerd door een classificatietoken [CLS] aan het begin en een [SEP] scheidingstoken aan het einde, gevolgd door een context, gescheiden door een andere [SEP]. De tokens in deze reeks worden omgezet in inbeddingen. Het model voorspelt vervolgens de begin- en eindpositie van het antwoord binnen de passage. Klik hier om een grotere versie van deze figuur te bekijken.

Vector database (VD): Een VD^17,18 is een gespecialiseerd systeem voor het efficiënt opslaan, beheren, indexeren en opvragen van hoogdimensionale vectorrepresentaties van gegevens. Vectoren worden vaak gegenereerd op basis van deep learning-modellen en bevatten semantische of contextuele informatie over de gegevens. Elke dimensie van een vector vertegenwoordigt een specifiek kenmerk. Inbeddingen zijn numerieke weergaven van objecten zoals tekst, afbeeldingen, video's en audio. Deze inbeddingen worden gebruikt in verschillende toepassingen, waaronder Machine Learning (ML), NLP, aanbevelingssystemen, computervisie en IR. VD's vergemakkelijken effectief zoeken naar overeenkomsten en semantische query's door vergelijkbare objecten dicht bij elkaar in de vectorruimte te groeperen. Facebook AI Similarity Search (FAISS)²⁹ is een prominente VD die in dit onderzoek wordt gebruikt om de meest relevante context voor zoekopdrachten van gebruikers te identificeren. Tabel 2 geeft een overzicht van de belangrijkste kenmerken van VD's en hun gebruiksscenario's.

Gelaatstrek	Beschrijving
Hoogdimensionale gegevens	Verwerkt gegevens met honderden of duizenden dimensies.
Geschatte dichtstbijzijnde buur (ANN)	Maakt snel zoeken naar overeenkomsten mogelijk door afstanden te benaderen.
Schaalbaarheid	Ondersteunt grootschalige datasets met miljarden vectoren.
Integratie	Integreert vaak met AI/ML-frameworks en -tools voor naadloze workflows.
Realtime query's	Biedt vectorzoekopdrachten met lage latentie voor interactieve toepassingen.

Tabel 2: Belangrijkste kenmerken van VD. De tabel belicht belangrijke kenmerken van VD. Deze omvatten het verwerken van hoogdimensionale gegevens, het uitvoeren van snelle zoekopdrachten naar overeenkomsten met behulp van ANN-algoritmen, schalen naar grote datasets, werken met AI- en ML-tools en het ondersteunen van snelle, realtime query's voor interactief gebruik.

Statistieken voor prestatie-evaluatie: Het SCD-QA-systeem werd geëvalueerd aan de hand van twee primaire statistieken: EM-score¹⁴ en modellatentie¹⁵. De EM-score, een standaardmaatstaf in QA-onderzoeken, beoordeelt de nauwkeurigheid van de voorspelling door het aandeel voorspelde antwoorden te meten dat precies overeenkomt met de grondwaarheid. Voor een set N vragen wordt de EM-score formeel als volgt gedefinieerd in vergelijking 1:

waarbij (1)

Deze statistiek kent een score van 1 toe voor een exacte overeenkomst met het referentieantwoord en 0 voor elk verschil.

De latentiemetriek kwantificeert de totale verwerkingstijd die het systeem nodig heeft om een antwoord op een afzonderlijke query te genereren. Deze metrische waarde wordt berekend als de gemiddelde verstreken tijd voor alle query's, zoals weergegeven in vergelijking 2:

(2)

waarbij T_starti en T_endi de tijdstempels zijn die respectievelijk het begin en het einde van de verwerking van de ^i-de query markeren. Latentie wordt gerapporteerd in s en legt het reactievermogen van het systeem vast, dat alle fasen omvat, van invoerverwerking tot het genereren van antwoorden.

Methode

Om de SCD-QA te implementeren, zijn de volgende teststudies in dit document opgenomen.

SCD-QA-gegevensset: Een voorgestelde dataset³⁰ wordt geïntroduceerd voor de implementatie van het SCD-QA-systeem. Deze dataset is afgeleid van een tekstcorpus met Ph.D. regels voor 2022⁸, voor studentenrichtlijnen van NIT Arunachal Pradesh, India. Om het SCD-QA-systeem op te zetten, is het noodzakelijk om een JSON-bestand te genereren dat alle relevante informatie in een nauwkeurig formaat bevat. De dataset wordt gegenereerd op basis van het tekstcorpus met behulp van de Haystack-annotatietool (versie 2.18.1)³¹, een open-source framework. Deze tool faciliteert het maken van de SCD-QA-dataset in de stijl van de SQuAD¹⁴. De stappen om een geannoteerde dataset van het SQuAD-type te maken op basis van het PDF-bestand worden weergegeven in Figuur 7 en de structuur van onze dataset in SQuAD-stijl wordt geïllustreerd in Figuur 8.

Afbeelding 7: Stappen om een geannoteerde dataset te maken op basis van een PDF-bestand. De afbeelding illustreert een stapsgewijze workflow voor het maken van een geannoteerde dataset in SQuAD-stijl met behulp van Haystack-tools. Het schetst het proces van het extraheren van tekst uit PDF's, het opschonen en splitsen ervan in passages, het handmatig annoteren van vraag-antwoordparen, het opslaan van de annotaties in SQuAD JSON-indeling en ten slotte het exporteren van de dataset voor modeltraining. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 8: Structuur van factoid QA-dataset. De afbeelding geeft een JSON-gegevensstructuur weer die een alinea en een QA-paar uit een gegevensset vertegenwoordigt. Het heeft een sectie met paragrafen, die een reeks vragen en antwoorden bevat. Een vraag luidt: wat is het minimumcijfer dat vereist is om toegelaten te worden tot Ph.D. Wetenschap? Elke vraag heeft een ID en een reeks antwoorden. Het antwoord bevat een document-ID, vraag-ID, de tekst 60%-tekens, de startpositie van het antwoord en een niet-gespecificeerde antwoordcategorie. De vlag is_impossible is ingesteld op false. Klik hier om een grotere versie van deze figuur te bekijken.

De dataset is gestructureerd als een lijst met woordenboeken, waarbij elk woordenboek belangrijke velden bevat, zoals gegevens, alinea's, vraag, answer_id, document_id, question_id, tekst, answer_start, answer_end, is_impossible en context.

gegevens: Het bevat de algemene informatie voor het beantwoorden van vragen.
alinea's: een bepaalde context, samen met de vragen en antwoorden.
vraag: Een bepaalde vraag.
answer_id: Een uniek identificatienummer voor elke antwoordtekst.
document_id: Een uniek identificatienummer voor elke context.
question_id: Een uniek identificatienummer voor elke vraag.
tekst: De antwoordtekst.
answer_start: De startlocatie van het antwoord van het juiste antwoord in de context.
answer_end: De locatie waar het antwoord eindigt van het juiste antwoord in de context.
is_impossible: Het geeft aan of het antwoord op de gestelde vraag beschikbaar is in de context of niet.
context: Het tekstcorpus waaruit een antwoord kan worden gevonden.
Alle 80 vragen in de voorgestelde dataset volgen het factoid en non-factoid vraagformaat. Voorbeelden van sommige soorten geformuleerde vragen worden weergegeven in tabel 3.

Vragen

Wie is PS?

Wat is de lettergrootte van het state-of-the-art document?

Hoeveel dagen zijn er met zwangerschapsverlof?

Tabel 3: Voorbeeldvraag uit de dataset. De tabel toont voorbeelden van twee soorten vragen: de eerste en tweede zijn factoid vragen, terwijl de derde een non-factoid vraag is.

FAISS: FAISS (versie faiss_cpu-1.9.0)^29,32, ontwikkeld door Facebook AI Research (FAIR), is een open-source bibliotheek die het efficiënt zoeken naar overeenkomsten en het clusteren van dichte vectoren mogelijk maakt. Het is speciaal ontworpen om grootschalige, hoogdimensionale gegevens effectief te beheren. Dit systeem maakt snelle en schaalbare ANN-zoekopdrachten mogelijk binnen datasets die bestaan uit miljoenen of miljarden vectoren. Het wordt veel gebruikt in toepassingen die verband houden met inbeddingen, waaronder NLP, aanbevelingssystemen en het ophalen van afbeeldingen of video's. FAISS biedt meerdere indexeringsmethoden, waaronder Flat (brute force), Inverted File (IVF), Hierarchical Navigable Small World-grafieken (HNSW) en productkwantisatie (PQ). Met deze methoden kunnen gebruikers de zoekprestaties optimaliseren op basis van gegevensgrootte, dimensionaliteit en hardwarespecificaties. In deze studie wordt platte indexering gebruikt, die een brute-force zoekopdracht uitvoert met behulp van de L2 (Euclidische) afstand om de dichtstbijzijnde buren te identificeren. De schaalbaarheid van het systeem ondersteunt zowel CPU- als GPU-implementaties, waardoor krachtige berekeningen in uitgebreide datasets mogelijk zijn. Bovendien biedt het flexibiliteit om de balans tussen snelheid en nauwkeurigheid te optimaliseren op basis van specifieke toepassingsvereisten. FAISS wordt vaak gebruikt in NLP om semantische gelijkenis in inbeddingen te beoordelen, zoals BERT of Word2Vec. FAISS wordt gebruikt in QAS om vectorrepresentaties van documenten of zinnen op te slaan en te beheren. Het voert bij benadering ANN-zoekopdrachten³³ uit om de meest relevante context voor gebruikersvragen op te halen, waarbij semantisch zoeken wordt verbeterd met inbeddingen van transformatormodellen zoals BERT. FAISS is vanwege zijn veelzijdigheid een fundamenteel hulpmiddel in AI- en ML-workflows.

BERT-large-uncased-whole-word-masking-finetuned-SQuAD-model: Het huidige werk maakt gebruik van een vooraf getraind taalmodel dat bekend staat als BERT-large-uncased-whole-word-masking finetuned-squad⁹ om een factoid QAS te ontwikkelen met behulp van de dataset die in de studie wordt voorgesteld. Het BERT-model onderging een pre-training op BookCorpus, een dataset van 11.038 ongepubliceerde boeken⁹, evenals de Engelse Wikipedia, met uitzondering van lijsten, tabellen en koppen. Het model in kwestie is niet hoofdlettergebruik, wat betekent dat het geen onderscheid maakt tussen de woorden Engels en Engels. Het model is een vooraf getraind transformatormodel dat is getraind op een aanzienlijke hoeveelheid Engelse gegevens met behulp van een zelfgesuperviseerde aanpak. Het model werd uitsluitend getraind op onbewerkte teksten, zonder menselijke annotaties. Hierdoor kan het gebruik maken van een grote hoeveelheid openbaar toegankelijke gegevens. Het pre-trainingsproces omvat het automatisch genereren van invoer en labels uit de verstrekte teksten. Het model werd getraind met twee specifieke doelstellingen⁹:

MLM: Het proces omvat het willekeurig maskeren van 15%⁹ van de woorden in de invoerzin. Het model verwerkt vervolgens de hele gemaskeerde zin en voorspelt de gemaskeerde woorden. Deze benadering wijkt af van conventionele terugkerende neurale netwerken (RNN's), die woorden doorgaans opeenvolgend verwerken, en van autoregressieve modellen zoals GPT, die interne maskering van toekomstige tokens gebruiken. De functionaliteit stelt het model in staat om een bidirectionele weergave van de zin te verkrijgen.

NSP: Tijdens de pretrainingsfase combineert het model twee vermomde zinnen als invoer. In sommige gevallen staan deze zinnen in de oorspronkelijke tekst naast elkaar, wat wijst op een directe relatie. In andere gevallen zijn ze dat niet, wat betekent dat er geen oorspronkelijke nabijheid of context is die ze met elkaar verbindt. De volgende stap is dat het model voorspelt of de twee zinnen logisch coherent zijn.

Het huidige model wordt gekenmerkt door de daaropvolgende configuratie: de modelarchitectuur bestaat uit 24 lagen, met een verborgen dimensie van 1024. Het maakt gebruik van 16 aandachtskoppen en heeft in totaal 336 miljoen parameters⁹.

WordPiece wordt gebruikt om de teksten te tokeniseren met een woordenschat van 30.000 woorden in de voorverwerkingsstappen. De invoer van het model ziet er dan als volgt uit: [CLS] Zin A [SEP] Zin B [SEP]. De enige vereiste is dat de totale lengte van de gecombineerde zinnen minder is dan 512 tokens⁹. Het specifieke vooraf getrainde model levert de daaropvolgende output op: de behaalde F1-score is 93,15%, terwijl de precieze wedstrijdscore 86,91%⁹ is.

Distilbert/distilbert-base-cased-distilled-squad model: Het DistilBERT^10-model is een compactere, snellere en efficiëntere variant van het BERT^9-model , ontwikkeld om het grootste deel van het semantische begripsvermogen van BERT te behouden, terwijl het minder arbeidsintensief is en meer geschikt voor praktische toepassingen met beperkte rekencapaciteit. De versie distilbert-base-cased-distilled-squad is op de SQuAD¹⁴ verfijnd voor QA-taken. Het model maakt gebruik van de transformatorarchitectuur, inclusief een kleinere grootte van 66 miljoen parameters in tegenstelling tot de 110 miljoen van BERT, met behoud van 97% van de doeltreffendheid van BERT op het gebied van taalbegrip. DistilBERT bereikt dit met behulp van een methode die bekend staat als Knowledge Distillation, die informatie overbrengt van het grotere BERT-model naar het compactere DistilBERT-model. Vanwege het kleinere formaat kan het informatie sneller afleiden en minder geheugen gebruiken, waardoor het perfect is voor toepassingen met beperkte middelen, zoals mobiele of edge-apparaten. Het model, zorgvuldig afgesteld op de SQuAD 1.1-dataset, getuigt van uitzonderlijke vaardigheid in extractieve QA-taken, waarbij het doel is om een tekstsegment uit een gespecificeerde context te lokaliseren dat een vraag beantwoordt. DistilBERT behaalt ongeveer 85% van de F1-score van BERT op het SQuAD-klassement en behoudt een aanzienlijk deel van de taalcapaciteit van BERT, ondanks zijn kleinere omvang. Dit model is een uitzonderlijk efficiënte oplossing voor QA-taken op productieniveau, waarbij zowel de prestaties als de rekenefficiëntie worden geoptimaliseerd.

Deepset/roberta-base-squad2: Het deepset/roberta-base-squad2 model^12,13 is een verfijnde variant van de RoBERTa-architectuur. Het is speciaal ontworpen voor de SQuAD¹⁴ 2.0-dataset, die zowel beantwoorde als onbeantwoordbare vragen bevat. Dit verbeterde RoBERTa-framework elimineert de⁹ NSP-taken van BERT. Het maakt ook gebruik van dynamische maskering tijdens de training om de efficiëntie en prestaties bij NL-begripstaken te verbeteren. Het model heeft 125 miljoen parameters en maakt gebruik van een bidirectionele transformator. Dit stelt het in staat om contextuele informatie uit beide richtingen te verkrijgen en uit te blinken in extractieve QA-taken.

Door af te stemmen op SQuAD 2.0 kan het model de juiste responsspanne binnen een bepaalde context identificeren en herkennen wanneer er geen antwoord is. Het maakt gebruik van een Byte Pair Encoding (BPE) tokenizer die tokenisatie van subwoorden afhandelt en de gevoeligheid van hoofdletters behoudt. Dit verbetert het vermogen om ongebruikelijke en complexe woorden te verwerken. Het model presteert goed en behaalt ongeveer 85%-90% F1 en 80%-85% EM. Het vermogen om onbeantwoordbare vragen op te sporen en de effectieve inzet ervan maken het waardevol voor klantenservice, het ophalen van kennis en virtuele assistenten.

De meest effectieve manier om SQuAD-nauwkeurig afgestemde BERT-modellen voor QA te implementeren, is door de Hugging Face Transformers-pijplijn³⁴ te gebruiken. Dit framework stroomlijnt tokenisatie, invoeropmaak, modelladen en nabewerking van uitvoer. Deze modellen worden algemeen erkend vanwege hun effectiviteit in extractieve QA, waarbij het antwoord een tekstreeks is die rechtstreeks uit de gegeven context wordt gehaald. Om de implementatie te begeleiden, worden in de volgende procedure de stappen voor het uitvoeren van BERT-modellen beschreven.

Invoer en instelling: Dit proces vereist vier hoofdinvoer en instellingsparameters: de modelnaam, gespecificeerd als een tekenreeks-ID van de Hugging Face Hub (bijvoorbeeld google-bert/bert-large-uncased-whole-word-masking-finetuned-squad, distilbert/distilbert-base-cased-distilled-squad, of deepset/roberta-base-squad2); de vraag (Q), verstrekt als een tekenreeks die de zoekopdracht bevat; en de context (C), een tekenreeks die de relevante tekst of passage vertegenwoordigt. De primaire tool die wordt gebruikt, is de pijplijnfunctie op hoog niveau uit de Hugging Face-transformatorbibliotheek (versie 4.57.0) in Python (versie 3.12.12).

Proces: Uitvoering (Hugging Face Pipeline): Het proces bestaat uit zes primaire stappen en maakt gebruik van de Hugging Face-pijplijn om de complexiteit van de QA-taak aan te pakken:

Bibliotheek installeren: Begin met het installeren van de vereiste bibliotheek met de opdracht pip install transformers. Deze installatie biedt toegang tot de modellen en de gestroomlijnde pijplijnfunctionaliteit.

Pijplijn importeren: Importeer de pijplijnfunctie met: van transformatoren importeer pijplijn.

QA-pijplijn initialiseren: Initialiseer de QA-pijplijn met behulp van qa_pipeline = pipeline("question-answering", model=""). Met deze opdracht worden het model en de tokenizer gedownload, waardoor ze klaar zijn voor deductie.

Invoer definiëren: Stel vraag in = ... en context = ... om de gegevens van het model voor te bereiden.

Afleiding uitvoeren: Geef de vraag en context door aan de pijplijn met resultaat = qa_pipeline(question=question, context=context). Het model verwerkt de input en geeft een antwoord.

Antwoord uitpakken: Haal de antwoordreeks uit de uitvoerwoordenlijst met behulp van: answer = result['answer'].

Uitvoer: Het proces produceert verschillende uitvoerparameters in de volgende volgorde: Antwoord (de geëxtraheerde tekst uit de context, gepresenteerd als een tekenreeks), Score (een drijvende-kommawaarde die het vertrouwen van het model in zijn voorspelling kwantificeert) en Start- en eindindices (gehele getallen die de tekenposities van de antwoordreeks binnen de context specificeren).

Zin-transformatoren/all-MiniLM-L6-v2: De all-MiniLM-L6-v2³⁵ is een voorgetrainde zinstransformator uit de Sentence-Transformers-bibliotheek (versie 5.1.1)³⁶. Het is geoptimaliseerd voor efficiënte, nauwkeurige tekstinbedding. Het is ontwikkeld op het MiniLM-framework van Microsoft en bevat zes transformatorlagen en 384-dimensionale inbeddingen. Dit ontwerp combineert prestaties en rekenvaardigheid, waardoor het geschikt is voor real-time toepassingen. Het model is getraind op meer dan een miljard woordgroepenparen uit datasets zoals SNLI, MultiNLI, STS-benchmarks en webcrawlgegevens. Als gevolg hiervan toont het vaardigheid aan in semantische gelijkenis, groepering en zoekgerelateerde taken. Vanwege het kleine formaat (~22 MB) en de verbeterde deductieprestaties vereenvoudigt de all-MiniLM-L6-v2 toepassingen zoals semantisch zoeken, duplicatiedetectie en tekstcategorisatie. Hoewel het licht van gewicht is, levert het een sterke nauwkeurigheid op benchmarks zoals STS-B en SICK-R, waardoor het een effectieve keuze is voor zowel schaalbare scenario's als scenario's met beperkte middelen. De workflow voor het genereren van de inbedding met behulp van Sentence-Transformer wordt weergegeven in Figuur 9 hieronder.

Figuur 9: Stap van het inbeddingsproces met behulp van het zinstransformatormodel. De afbeelding illustreert de workflow voor het genereren van tekstinsluitingen met behulp van het frame voor zinstransformatoren. Het schetst het proces van het importeren van bibliotheken en het laden van een vooraf getraind model tot het voorbereiden van tekstgegevens, het genereren van insluitingen, het converteren ervan naar NumPy-arrays en het opslaan ervan voor downstream-taken zoals indexeren of zoeken naar overeenkomsten. Klik hier om een grotere versie van deze figuur te bekijken.

Voorgesteld algoritme: Deze studie schetst een voorgestelde methodologie in algoritme 1 voor de ontwikkeling van het op SeCD gebaseerde SCD-QA-systeem, dat in staat is om zowel factoïde als niet-factoïde vragen van gebruikers te beantwoorden.

ALGORITME 1: Algoritme van het voorgestelde op SeCD gebaseerde SCD-QA-systeem
Invoer: Set van onbewerkt contextbestand (C) en de query van de gebruiker (Q).
Output: De geselecteerde optimale LLM op basis van transformatoren (M') en de respons die wordt gegenereerd door M'.
Voorbewerkingscontexten: Annoteer de onbewerkte contextset C om een gestructureerde gegevensset in D_{SQuAD-indeling} te maken.
D_SQuAD = f_annonaat (C)
Genereer contextinbeddingen: Gebruik een Sentence-Transformer_f-embed om elke context c D_SQuAD om te zetten in een inbedding e^c.

Winkelinbeddingen: Sla E_c op in een vectordatabase V voor efficiënt zoeken naar overeenkomsten.

Query-inbedding genereren: Transformeer de query q van de gebruiker in een inbedding e_q met behulp van dezelfde zinstransformator.

Context ophalen: Haal de meest relevante contextinbedding op uit de database V op basis van gelijkenis met e_q.

waarbij sim(e_{q,e c}), de similariteitsfunctie is.
Geef context door aan LLM's: Voer de opgehaalde context in 3 op transformatoren gebaseerde LLM's: Google-BERT (M₁), DistilBERT (M₂), RoBERTa (M₃) en een traditioneel model: TF-IDF+Cosinusgelijkenis (M₄)

Modelevaluatie: Vergelijk de antwoorden {R_{1,R 2,R 3,R 4}} met behulp van een evaluatiefunctie f_eval, die elke reactie scoort.

Selecteer het beste model: Identificeer het model M' met de hoogste evaluatiescore S'

Genereer uiteindelijke uitvoer: Gebruik M' om de uiteindelijke respons R te genereren op basis van

Einde

Het voorgestelde algoritmeproces schetst een systematische aanpak (Figuur 10) voor het kiezen van een ideale op transformatoren gebaseerde LLM om vragen van gebruikers te beantwoorden. Het omvat voorverwerking, het ophalen van context op basis van inbedding en beoordeling van meerdere modellen om contextueel relevante antwoorden van hoge kwaliteit te garanderen. Hieronder wordt het stapsgewijze proces voor de duidelijkheid uitgelegd:

Voorbereiding en voorverwerking van gegevens: De eerste fase omvat de verwerking van onbewerkte tekstuele gegevens.

Invoer: De onbewerkte tekstbestanden⁸ worden in het systeem aangepast.

Annotatietool³¹: De invoer wordt omgezet in een gestructureerde dataset in SQuAD^14-indeling . Deze stap omvat het maken van QA-paren. Het organiseert ook relevante tekstuele gegevens in goed gedefinieerde contextblokken.

Uitvoer: de gegevensset is nu klaar om inbeddingen te maken.

Genereren van contextinbedding: Om efficiënt en schaalbaar contextherstel mogelijk te maken, wordt een getraind Sentence-Transformer ^35,36-model toegepast op de geannoteerde dataset. Deze transformator zet tekst om in hoogdimensionale inbeddingen die de semantische betekenis vastleggen. De inbeddingen worden opgeslagen in VD, FAISS ^29,32 om snelle zoekopdrachten op basis van overeenkomsten mogelijk te maken.

Verwerking van gebruikersquery's: Wanneer een gebruiker een vraag indient, wordt de vraag verwerkt door dezelfde zinstransformator^35,36. Dit genereert een overeenkomstige inbedding in dezelfde vectorruimte^29,32 als de contextinbeddingen. Dit ontwerp zorgt ervoor dat de query kan worden gekoppeld aan relevante contextvermeldingen.

Context ophalen met behulp van vectorgelijkenis: met behulp van een gelijkenismetriek (bijv. cosinusgelijkenis) vergelijkt het systeem de inbedding van de query met opgeslagen contextinbeddingen. Het systeem selecteert de meest relevante context op basis van de hoogste gelijkenisscore. Dit zorgt ervoor dat alleen relevante context wordt doorgegeven aan downstream-modellen. Het proces vermindert de computationele overhead en verbetert de relevantie.

Modelevaluatie over meerdere LLM's: De geselecteerde context wordt geëvalueerd door drie op transformatoren gebaseerde LLM's: Google-BERT²⁸, DistilBERT¹⁰ en RoBERTa¹². Het wordt ook geëvalueerd door een traditionele, op trefwoorden gebaseerde TF-IDF³⁷ met een cosinusgelijkenismodel. Elk model verwerkt de context en genereert een antwoord op de vraag van de gebruiker.

Vergelijkende evaluatie: De antwoorden van de vier LLM-modellen worden geëvalueerd aan de hand van twee belangrijke statistieken. Eerst wordt semantische matching beoordeeld door EM¹⁴. Ten tweede wordt de modellatentie geanalyseerd aan de hand van de gemiddelde reactietijden¹⁵.

Modelselectie en uiteindelijke uitvoer: Het best presterende model wordt geselecteerd als de juiste LLM voor de vraag van de gebruiker. Er wordt rekening gehouden met de uiteindelijke reactie van het geselecteerde model. Dit zorgt voor een evenwicht tussen rekenefficiëntie en responskwaliteit.

Figuur 10: Workflow van het SCD-QA-systeem met behulp van modellen op basis van transformatoren. De figuur laat zien hoe het SCD-QA-systeem werkt. Eerst wordt een onbewerkt contextbestand verwerkt door een annotatietool om een dataset in SQuAD-indeling te maken. Een zinstransformator genereert vervolgens inbeddingen, die worden opgeslagen in een FAISS-vectordatabase. Wanneer een gebruiker een vraag stelt, maakt het systeem er een inbedding voor en selecteert het de meest relevante context. Het vergelijkt drie op transformatoren gebaseerde modellen - Google-BERT, DistilBERT en RoBERTa, en één traditionele TFIDF + cosinus-gelijkenisscore - en gebruikt de best presterende om het antwoord te geven. Klik hier om een grotere versie van deze figuur te bekijken.

Resultaten

De implementatie van het SCD-QA-systeem maakte gebruik van vier LLM's en een dataset van 80 factoid en non-factoid vragen. De verwerking werd uitgevoerd in Google Colab, met behulp van NVIDIA Tesla T4 GPU's (driverversie: 550.54.15, CUDA-versie: 12.4) met 12,7 GB systeem-RAM, 15 GB GPU RAM en 112,6 GB schijfruimte. De modelprestaties werden geëvalueerd aan de hand van twee metrieken: EM¹⁴ voor semantische matching en modellatentie¹⁵ voor rea...

Discussie

Deze studie introduceert het SCD-QA-systeem, dat gebruikmaakt van op transformatoren gebaseerde taalmodellen om nauwkeurige, contextbewuste antwoorden te leveren op basis van gestructureerde institutionele documenten. De workflow van het systeem bestaat uit: (1) voorverwerking van gegevens; (2) het genereren van inbedding met behulp van de state-of-the-art zinstransformator, all-MiniLM-L6-v2; (3) ophalen op basis van gelijkenis via FAISS; en (4) uitgebreide modelevaluatie. De pijplijn we...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
all-MiniLM-L6-v2	Microsoft	version 5.1.1	Voorgetraind zin-transformermodel voor het genereren van hoogdimensionale inbeddingswaarden. Converteert tekst naar inbeddingswaarden voor context-retrievel.
Annotation Tool	Haystack	Versie 2.18.1	Platform voor het structureren van ruwe tekst in SQuAD-formaat. Bereidt dataset voor door QA-paren en contextblokken te maken.
DistilBERT Model	Hugging Face	NA	Lichtgewicht transformer-gebaseerd LLM met verminderde computationele vereisten. Geëvalueerd voor vergelijking, biedt lagere latentie maar verminderde nauwkeurigheid.
FAISS VD	Facebook	faiss_cpu-1.9.0	Schaalbare VD voor op gelijkenis gebaseerde zoekopdrachten. Slaat hoogdimensionale inbeddingswaarden op en haalt deze op voor efficiënte query-matching.
Google-BERT Model	Google	NA	Voorgetraind transformer-gebaseerd LLM met bidirectionele contextmodellering. Primair model voor het genereren van nauwkeurige antwoorden op factoïsche en niet-factoïsche vragen.
NVIDIA Tesla T4 GPUs	NVIDIA	Driverversie: 550.54.15 CUDA-versie: 12.4	GPU's met 15 GB GPU RAM voor modelinferens. Biedt rekenkracht voor het verwerken en evalueren van LLM's.
Python	Python Software Foundation	versie 3.12.12	Python is een toonaangevende programmeertaal op het gebied van Natural Language Processing (NLP) vanwege zijn eenvoudige syntaxis, uitgebreide bibliotheken en sterke ondersteuning van de community. Het ondersteunt een breed scala aan NLP-taken, inclusief fundamentele tekstvoorverwerking en complexe machine learning-implementaties.
RoBERTa Model	Deepset	NA	Geoptimaliseerde transformer-gebaseerde LLM met verbeterde trainingsstrategieën. Geëvalueerd voor vergelijking, balanceert nauwkeurigheid en latentie.
SCD-QA dataset als SQuAD  Format	NA	Versie 2.0	Gestandaardiseerde formaat voor vraag-antwoordparen. Structureert dataset voor compatibiliteit met transformer-modellen.