需要JoVE订阅才能观看此内容。 请登录或开始免费试用

研究文章

基于案例推理与深度学习的混合式法律文本摘要方法

491 次观看

DOI:

10.3791/69287

2025年12月12日

本文内容

摘要

本方案将基于案例的推理(Case-Based Reasoning, CBR)与多阶段变换器模型相结合,用于对法律文本进行摘要。该方法对法律案例进行预处理,检索相似的先例,调整推理结构,并生成准确且连贯的摘要。其应用包括法律研究、判决分析和决策支持系统,确保事实一致性以及领域特定推理的保真度。

摘要

法律文件以篇幅冗长且内容复杂著称,这使得法律从业者和研究人员几乎无法快速识别并提取相关信息。本文提出一种混合方法,结合针对法律文本的案例推理(Case-Based Reasoning, CBR)与具体的深度学习技术进行摘要表征,能够准确、高效地生成摘要,在词汇重叠和领域特定推理指标上均优于以往的抽取式和生成式基线方法。 摘要。通过使用来自 Kaggle 的包含 4,968 个法律案例的更大数据集,在此前构建的通用基于案例推理(CBR)检索模型基础上构建了多阶段 transformer 架构,以生成简要摘要,并结合 CBR 实现对上下文的理解。该系统在法律结果预测方面进行了评估 以及摘要的连贯性,结果表明,该方法在法律实体识别准确率上达到98%,且相较于现有的抽取式与生成式方法表现出更优的性能,摘要连贯性较基线方法提升46%,ROUGE评分较先前方法提高23%。 比现有最先进方法在法律语料连贯性上高出46%(基于基线增强),且ROUGE得分较先前方法提升23%。本研究提出了一种融合案例推理(CBR)与基于变换器模型的混合法律文本摘要框架。大量实验表明,该方法在近期基线模型中表现出更优性能,实现了更高的事实准确率、推理保真度以及法律实体保留效果。

引言

广泛的 法律文件的复杂性和冗长性使得及时检索相关信息必须依赖先进的方法。法律文本摘要对于提升信息可及性与决策效率具有重要意义。由于法律意见、判决和判例通常极为冗长,法官、执业人员和研究人员在处理这些材料时往往面临巨大困难,从而导致 开发能够准确且高效地总结这些文档的自动化方法1.

尽管 在更普遍的情形下,尽管现有摘要方法具有先进性能,但仍难以捕捉法律文件特有的复杂性与法律术语。若仅简单选取排名靠前的句子而不进行重新组织, 仅基于对数似然的方法虽能获得较高的ROUGE分数,但会丢失上下文信息和完整的语义。生成式方法采用自然语言生成来构建摘要内容,因此能够捕捉上下文的细微差别,但 他们难以保留法庭案件中的逻辑思维过程和法律推理2所提出的方法对于包含结构化部分(如事实、论点、先例和判决)的长篇法律案例文本尤为有效。在具有明确引用和标准化格式的语料库(如上诉法院或最高法院判决)上应用时,该方法表现优异。然而,对于存在噪声或非结构化的数据集(例如带有光学字符识别错误的扫描PDF文件,或缺乏清晰修辞分段的文档),其性能可能受限。因此,该方法最适合用于语言特征和引用信息均可获取的结构良好、数字化的案例库。3.

所提出的结合了案例推理(CBR)与先进自然语言处理(NLP)技术的卓越混合框架,用于生成摘要。该框架采用多阶段变换器架构,配备法律领域特定的注意力层,并提出了一种跨文档推理模块。CBR 使系统能够调取相似的历史案例,用于分析法律推理中的所有上下文变量4。与现有最先进基线方法相比,所提出模型在 ROUGE、BLEU 和 Legal-SemSim 等量化指标上均表现出显著提升,并经人类专家评估验证,展现出更高的准确性。例如,在推理链准确率方面,该模型相较于 Legal-BART 和 PALM-Law 提高了 15%–20%。该方法融合通用表征与复杂策略,将案例特定知识与神经网络摘要相结合,在法律实体识别任务中达到 98% 的精确率,在先例检索任务中达到 97%,远超以往研究成果5

相关工作

法律文本摘要作为自然语言处理(NLP)的一个子领域,由于对司法意见、法规和判例法等法律文件高效处理的需求日益增长,正受到越来越多的关注。其主要挑战在于生成的摘要中保持语义完整性、法律推理能力以及领域特定的上下文信息。以往的研究涵盖了抽取式、生成式及混合式方法,近期研究则更侧重于针对法律领域优化的神经网络架构6

文献综述

法律文本摘要已成为自然语言处理中的一个关键研究领域,其发展动力源于迫切需要使大量且复杂的法律文件变得易于访问和可操作。该领域的文献呈现出从表层抽取式模型向复杂混合架构演进的趋势,力求在流畅性、事实准确性和法律逻辑之间取得平衡。早期研究主要集中于抽取式摘要技术,这些方法基于词汇相似性和统计模式来判断句子的重要性。尽管这类方法在选取具有法律显著性的文本片段方面效果显著,但诸如 TextRank 和 LexRank 等方法往往忽略了更深层次的语义结构,无法捕捉法律推理中至关重要的修辞与论证层次6。由于法律文本在语义严谨性和领域专用表达方面与通用语料库存在显著差异,这些模型生成的摘要常常缺乏连贯性与上下文适配性。随着预训练 Transformer 架构的出现,研究重点转向了生成式方法。BART、T5 和 PEGASUS 等模型开始展现出利用学习到的语言生成模式综合摘要的能力。其针对法律领域的改进版本,如 LegalBART 和 LegalPEGASUS,通过引入法律特定的预训练语料库进一步提升了性能7。然而,生成式方法在推理一致性与可解释性方面仍存在局限,这一问题在法律场景中尤为突出,因为即使微小的事实偏差也可能导致误解。

针对上述不足,混合模型应运而生,通过融合符号推理或基于检索的策略来增强上下文的关联性。其中一个显著的方向是引入案例推理(CBR),利用先例案件中的知识来为摘要生成过程提供上下文支持。这些模型力求在保留抽取式方法事实严谨性的同时,生成语言通顺且符合法律规范的输出结果8

近期趋势强调采用多阶段架构,将法律实体识别、跨文档推理和修辞角色解析相结合,表明研究正转向对文档的整体理解,而不仅仅是摘要生成。当前的研究越来越多地考虑法律本体对齐、领域特定的评估指标(例如 Legal-SemSim)以及以用户为中心的评估方法,以衡量摘要对法律从业者的质量与可用性9

近期的调查,例如2023年《探索大语言模型在法律领域的应用》和2024年《探索大语言模型在意大利法律领域的使用》,凸显了大语言模型(LLMs)在自动化法律推理、摘要生成和信息检索任务中的日益重要作用10。这些研究不仅强调了如GPT-4、PaLM和LLaMA等大语言模型在捕捉法律语篇上下文细微差异方面的能力,也指出了领域适应性、可解释性以及事实一致性方面的挑战11。目前,越来越多的研究探索将检索增强生成(RAG)或基于案例的推理(CBR)与大语言模型相结合的混合系统,以融合先例感知推理与Transformer模型生成流畅性的优势6。本研究顺应这一趋势,所提出的多阶段混合模型通过显式编码法律推理链路,扩展了先前的检索增强框架,同时借助基于Transformer的抽象摘要技术保持生成内容的连贯性。

尽管已取得显著进展,但在能够合成事实准确、逻辑严谨且领域一致的法律摘要同时保持可解释性的模型方面,仍存在空白12。本研究通过提出一种基于法律案例推理(CBR)与深度神经网络架构的多阶段混合方法,填补了这一空白,所提出的模型兼具准确性与实际可用性。

抽取式摘要方法

抽取式摘要(extractive summarization)这一术语用于描述从文档中提取并拼接最具信息量句子的方法。基于图的算法,例如TextRank13 和LexRank14,是根据句子重要性对其进行排序的传统方法。尽管这类方法在计算上是可行的,但在处理复杂的法律推理和论证时通常表现不佳8。随着预训练语言模型的出现,基于BERT的方法(如BERTSUM8)展现出显著改进。BERTSUM对BERT嵌入进行微调,用于句子级别的抽取式摘要,能够比统计模型更好地捕捉上下文细微差异9。针对法律领域的改进方法,如Legal-BERTSUM,通过引入法律领域特定语料库,进一步提升了性能,增强了法律术语识别和句子选择能力。然而,抽取式方法在重构论证流程或法律推理链条方面存在局限性,尤其是在句子之间相互依赖或引用关系隐含的情况下15

生成式摘要方法

抽象式摘要生成能够重新表述源内容的新短语和句子,通常采用编码器-解码器架构。BART 模型4 和 PEGASUS7 是应用于通用摘要任务的预训练序列到序列模型的代表性示例。通过在法律语料库上进行微调,这些模型已被适配至法律领域,从而衍生出 Legal-BART 和 Legal PEGASUS16,17 等模型。相较于抽取式方法,这些模型生成的摘要更加流畅、更接近人类表达,并且在捕捉上下文含义方面表现更优18

然而,这些模型在法律文本摘要中的应用面临挑战。生成式模型常在事实一致性及法律语义的保留方面表现不佳。对法律条款的误读或关键法律实体的遗漏可能导致摘要产生误导19。此外,神经网络文本生成模型通常缺乏透明度,引发了解释性和可验证性问题,而这两点在法律领域中至关重要。

混合摘要模型

为了结合两种范式的优势,混合式摘要模型整合了抽取式和生成式组件。一种早期策略是使用抽取式模块选择候选句子,再通过生成式解码器对其进行优化。近年来,Transformer 架构已与融入知识的模块相结合,以增强法律文本的理解能力5

案例推理(CBR)已成为一种有前景的混合策略。Waterworth 率先提出利用先前案例来辅助当前决策,而将 CBR 与神经网络模型相结合,可通过类比推理实现语义增强6。在法律文本摘要任务中,将 CBR 与 Transformer 模型结合,可同时实现上下文的复用与抽象化综合。例如 BART+CBR 等模型将基于检索的法律上下文与生成机制相融合,显著提升了摘要的连贯性与法律相关性20

所提出的多阶段+CBR架构通过将领域特定的推理链嵌入摘要生成流程,进一步推进了这一研究方向。该架构包含分层的Transformer模块、跨文档注意力机制以及经CBR增强的检索层,专为法律应用场景量身定制。这种多层次设计有助于实现细粒度的内容理解与宏观结构的保留21

法律领域的特定挑战与考量

法律文件具有独特的结构和语言特征,包括层次化格式、先例的交叉引用、法规引用以及领域特定术语22。因此,摘要生成模型不仅需要处理句法和语义上的复杂性,还必须保持逻辑连贯性以及法律论证的推进过程23。在此背景下,有效的摘要生成依赖于准确的法律实体识别、推理结构的保留,以及对事实、论点和判决等修辞角色的正确解读。

法律本体和引用网络已被用于提升领域理解能力。例如,在模型训练过程中整合结构化法律知识库已被证明能够增强法律实体链接和引用一致性24。这些努力有助于构建更符合法律从业者预期的摘要模型25

另一个挑战是可解释性。在法律领域,输出结果必须可审计且可解释。因此,诸如 LIME 和 SHAP 等可解释人工智能(XAI)框架正被 increasingly 探索用于论证摘要生成决策的合理性,尽管这些框架与大规模模型的集成仍是当前持续研究的课题26

法律文本摘要中的评估指标

ROUGE8、BLEU27 和 METEOR 等标准摘要评价指标通常用于词汇重叠评估。然而,这些指标在捕捉语义保真度、法律一致性和论证连贯性方面存在不足。

近期的研究引入了特定领域的评估指标,例如 Legal-SemSim,该指标结合法律本体来评估语义相似性;以及推理链准确率,用于评估逻辑流程和结论有效性的保持程度28。专家人工评估仍然不可或缺,尤其在衡量法律正确性、连贯性和可操作性方面。采用 Fleiss' Kappa 等指标计算的标注者间一致性,可确保定性评估的可靠性29

法律文本摘要领域的最新进展与未来研究方向

法律文本摘要研究正朝着更 robust、具备上下文感知能力且可解释的系统方向发展。结合基于规则的推理与 transformer 模型的混合符号-神经网络架构正受到关注。这类系统在保留基于逻辑方法的可解释性的同时,也受益于深度学习的泛化能力28

多语言法律文本摘要是一项新兴的前沿技术,旨在应对法律文本和法律程序的全球性特点30。时间推理对于理解具有时间依赖性的法律序列至关重要,而论证性话语建模也正处于探索阶段9

此外,对比学习和课程学习的进展正被用于增强模型在不同法律领域的泛化能力17。通过逐步增加任务复杂性并区分细粒度的语义类别,这些技术提高了模型在真实场景中的鲁棒性31

访问受限。请登录或开始试用以查看此内容。

方案

本方案使用公开可用的法律数据集,未涉及任何敏感个人或机密数据。本研究符合机构关于在研究中使用法律语料库的伦理指南(印度特伦甘纳邦海得拉巴克诺鲁·拉克希马亚教育基金会( deemed to be University),批准编号:KLEF/CS/2024/IRB-017)。研究采用了一个包含 4,968 个法律案例的数据集,每个案例均带有完整注释。表 1展示了数据集的描述信息。

precedent_citations对先例案件的结构化引用
reasoning_chains标注的逻辑推理序列

表1:数据集属性描述。

本研究使用的数据集

预处理后,数据集被标准化以统一结果。案例文本的长度在1,000到5,000词之间,足以支持训练和评估。我们根据案例结果在数据集中的出现频率将其归类为主要标签,从而能够在不同法律背景下探究摘要生成的性能。标注工作由五名法律专业人士组成的团队完成,包括三名执业律师和两名专注于法律信息学的博士研究人员。每份案例由两名专家独立标注,分歧部分由一名高级标注员裁决。标注方案包括法律实体、先例引用和推理链条。通过使用Fleiss' Kappa系数(κ = 0.82)衡量标注者间一致性,表明各标注者之间具有高度一致性。该流程确保了数据集的法律有效性与可重复性。

数据集分布

该数据集包含多个法律领域的案例,如表2所示。

法律领域案例数量百分比
合同法1,27825.70%
知识产权1,05321.20%
宪法51210.30%
行政法4328.70%
刑法3086.20%
侵权法2194.40%
其他/杂项1,16623.50%

表2:包含不同法律领域的案例。

数据集中案件结果的分布情况见表3

案件结果数量百分比
被引用2,46049.20%
被提及85517.10%
被遵循4719.40%
被适用4478.90%
被考虑3537.10%
其他结果3828.30%

表3:数据集中案件结果的分布情况。

因此,通过分层抽样将数据集划分为训练集(80%)、验证集(10%)和测试集(10%),以防止领域特异性偏差,从而在训练、验证和测试分割中实现了跨领域的合理表征。

文本长度分布

文本长度分布的分析结果见表4

长度范围(词数)数量百分比
少于 5004659.40%
500-1,0001,35927.40%
1,000-5,0002,69854.30%
5,000-10,0003236.50%
超过 10,0001543.10%

表4:文本长度分布分析。

该分布突显了文档长度的多样性,其中大部分文档属于中等长度范围(1,000-5,000词),这对摘要技术提出了适当的挑战。

增强的数据预处理

预处理流程借鉴了近期关于预处理在基于 Transformer 的法律自然语言处理任务中影响的研究。Chalkidis 等人证明,领域感知的分词和引文归一化显著提高了下游摘要任务的准确性30。类似地,Bommarito 和 Katz 表明,预处理选择(特别是实体归一化)直接影响 Transformer 在法律文本摘要中的性能32。基于这些发现,该流程采用了分节感知的分词、法律引文归一化以及修辞角色解析,以最大化上下文连贯性。本研究开发了一种新颖的预处理流程,整合了通用预处理方法与领域特定技术,以获取高质量的法律文本,并首先过滤掉少量为空或文本极短的案件条目,从而确保数据完整性。随后进行输入归一化,采用法律分词规则以保证输入的可用性33。通过自定义的高性能法律实体识别模型(LER 模型,F1 分数达 98%)提取关键实体,并利用话语解析技术捕捉文本结构要素。为增强判例分析,引入了引证图构建步骤。其他预处理步骤则针对特定领域,使用正则表达式解析器,确保其输入严格符合标准化法律引文的格式要求。针对层次化文档结构应用了分节感知的分词器,并为每份法律文本添加了一个经过微调的 RoBERTa 分类器,用于标注“事实”“论点”和“判决”等修辞角色。这一更全面的预处理流程使我们能够轻松增强法律文本检索、推理和摘要等下游任务的性能。

先进的案例推理模块

本研究首次提出了一种递进式应用的先进案例推理(Case-Based Reasoning, CBR)系统,该系统能够利用语义相似性以及法律领域的专业知识,在基准数据集上以98%的检索准确率提供相关且可比的案例。增强型案例表示(Enhanced Case Representation)通过混合向量对每个案例进行编码,该混合向量结合了由面向法律文本的领域专用BERT模型生成的上下文化嵌入、反映文档中元素位置的结构化嵌入、强调案例中法律关系的实体感知嵌入,以及表示判例之间关联方式的引用网络嵌入。多阶段案例检索采用多步骤方法,首先执行近似最近邻(Approximate Nearest Neighbor, ANN)搜索以获取候选种子,然后通过交叉注意力机制从候选集中获得最优匹配,并利用领域特定的评分函数和基于集成的相关性评分来选择最佳的检索结果。在高级案例适配阶段(Advanced Case Adaptation Stage, ACAS),系统通过基于图表示的模板提取法律论证之间的逻辑依赖关系,从而捕捉推理模式。接着通过引证分析识别判例的相关性,并根据各案例组成部分在查询中的上下文重要性进行加权。最后,采用基于语篇解析的方法保持论证结构,确保法律推理的逻辑连贯性得以保留。最后一个模块——知识集成模块,通过法律本体辅助检索,记录判例的时间关系,并在复杂的法律推理链条中保持有效性。所提出的CBR系统实现了98%的正确检索率,高于此前报道的法律案例检索与适配基准(例如LexGLUE,92%-95%)。

多阶段变换器架构

基于上述参考文献,本研究提出了一种基于人工神经网络的方法,该方法采用基于 transformer 的多阶段架构模型,融合了上述所有算法的最佳特性,以提升法律文档的自动化处理、推理与摘要生成能力。文档理解阶段采用针对法律领域优化的 BERT 编码器、分层注意力机制,以及用于法律实体识别、关系抽取和引用图谱处理的模块,从而实现对法律文档深层结构和上下文的全面理解。跨文档推理阶段通过交叉注意力机制,将查询与检索到的案例进行关联,辅助案例推理,具体形式包括提取和验证法律推理链、先例应用模型以及论证结构的保留。在句子嵌入生成层面采用了 SBERT 和 Bi-LSTM,而在抽象摘要生成层面则使用了带有法律领域约束的自定义解码器,以准确保留摘要中的法律术语、事实一致性及层级结构,符合法律写作的要求。通过将处理过程划分为不同阶段,可确保文档处理过程中事实一致性、上下文连贯性以及引用保真度的维持。所提出的模型训练流程如表 5所示。

超参数数值
批大小32
学习率3e-5,含预热
训练轮数15
最大序列长度2048 个 token
Dropout 率0.15
梯度累积8 步
预热步数1000
权重衰减0.01
标签平滑0.1

表5:模型训练过程。

为提升模型性能与泛化能力,我们采用了多种先进的训练技术,下文将详述这些方法。其中,利用课程学习逐步增加 任务复杂性,使模型能够在处理更具挑战性的实例之前掌握基本技能。通过对训练数据集进行实验,研究人员证实,微调通过帮助模型区分高度相似的实例,成功优化了语义表征。 不相似的数据,从而增强其对数据集的理解。在多任务学习方面,将摘要生成与一个或多个辅助任务(如分类或蕴含识别)相结合,以促进 对法律领域的更全面理解。通过知识进行重要知识的传递 在不使模型变得庞大的情况下保留高层知识的蒸馏方法已被迁移至更大规模的领域专用模型7.

多阶段混合法律文本摘要方法

为了实施所提出的框架,给出了逐步算法1,用以表示多阶段混合法律文本摘要方法。

算法 1:
算法: 多阶段混合法律文本摘要
输入: 法律案例数据集 D,包含字段 {case_text, legal_entities, citations, outcome}
输出: 每个案例的摘要 S,保留法律推理逻辑
开始
// 阶段 1:数据预处理
对 D 中的每个案例:
标准化文本以去除噪声并统一格式。
应用法律实体识别(LER)提取法律实体。
基于引用的先例构建引用图谱。
使用领域感知的法律分词规则对文本进行分词。
注意: 若输入语料包含噪声或不完整文本,需执行额外的标准化处理,例如停用词过滤或章节分割。

// 阶段 2:基于案例的检索
对每个案例:
使用领域适配的 BERT 编码器生成上下文嵌入。
基于章节位置生成结构嵌入。
生成引用网络嵌入。
使用近似最近邻(ANN)搜索检索相似的历史案例。
通过交叉注意力评分和基于集成的相关性排序对检索结果进行优化。

// 阶段 3:案例适配
对每个检索到的案例:
使用语篇解析提取推理模式。
识别相关法律论点,并根据其重要性分配权重。
在适配过程中保持论证流程的完整性。
注意: 若先例案例包含无关或矛盾的论点,应在适配过程中予以排除。

// 阶段 4:基于多阶段 Transformer 的摘要生成
对每个输入案例及其适配后的先例:
使用具有层次化和实体感知注意力机制的法律领域 BERT 编码器对输入案例进行编码。
在查询案例与检索到的案例之间应用跨文档推理。
使用 SBERT 和 Bi-LSTM 对句子进行编码,以增强上下文嵌入。
使用领域约束解码器生成摘要,以保持事实准确性和法律正确性。

// 阶段 5:输出与验证
对每个生成的简短摘要:
验证生成摘要的连贯性、事实正确性以及法律推理保真度。
返回最终摘要 S
注意: 若需专家验证,应在部署前增加人工参与的审核步骤。
结束

为搭建计算环境,安装了 Python 3.10。安装所需的库包括:PyTorch (v2.0)、Hugging Face Transformers (v4.32.0)、SpaCy (v3.6)、NLTK (v3.8.1)、NetworkX (v3.1)、DGL (v1.1)。配置了 GPU 支持(两块 GPU,每块 40 GB 内存)。具体版本和来源请见材料表。

法律案例数据集(≈ 从指定数据集来源下载了5,000个案件,每个案件均经核实包含以下字段:事实、论点、引用和判决结果。将文档以UTF-8纯文本格式存储。使用Python脚本(preprocess.py)删除空文本或过短文本。对文本进行去噪处理并统一格式。采用SpaCy进行法律领域分词处理(spacy.load("en_core_legal_sm")). 使用经过微调的 BERT 模型(transformers.pipeline("ner",模型="legal-bert-ler")). 使用 NetworkX(nx.DiGraph())构建引用图,通过引用的判例将节点相互连接。如果包含基于 OCR 的文档,则运行额外的文本清理脚本(ocr_clean.py)。

使用特定领域 BERT 模型(bert-legal)生成上下文嵌入,并利用 DGL 图编码器生成引用嵌入。通过 FAISS(faiss.IndexFlatIP)执行近似最近邻搜索。使用 PyTorch 模块(CrossAttentionScorer)进行交叉注意力评分,并通过上下文相似性与引用相似性的集成加权对结果进行排序。采用修辞角色分类器(roberta-legal-rhetoric)解析语篇结构,并通过对齐修辞角色提取相关推理模式。根据频率和引用强度为论证片段分配权重。排除相互矛盾或无关的先例。

使用领域适配的 BERT 编码器对文档进行编码,并应用分层注意力模块(在 hierarchical_encoder.py 中实现)。句子嵌入采用 SBERT 和 Bi-LSTM(sentence-transformers 软件包)完成。抽象摘要通过约束解码器(legal_decoder.py)进行解码。将最大序列长度限制为 2048 个 token。训练模型时,设置批量大小为 32,学习率为 3e-5,进行 15 轮训练并使用梯度累积(8 步),应用 0.15 的 dropout 和 0.01 的权重衰减,启用标签平滑(label smoothing)为 0.1。在 train_config.json 中修改超参数。

为评估性能,使用 rouge_score 库计算 ROUGE (1,2, L),使用 nltk.translate.bleu_score 计算 BLEU,使用 bert_score 包计算 BERTScore。采用基于本体的语义相似性脚本评估 Legal-SemSim,使用 SpaCy 和标准注释计算实体 F1 值。记录运行效率(每折秒数),并将生成的摘要与标准参考摘要进行比较。邀请两位法律专家对事实正确性进行评审,最终验证后的结果摘要被保存。遵循此协议可生成保留法律推理、事实准确性和引文保真度的领域特定法律摘要。

访问受限。请登录或开始试用以查看此内容。

结果

评估指标

该系统通过一组全面的指标进行评估,结果如表6所示。

指标类别具体指标描述
词汇重叠ROUGE-1, ROUGE-2, ROUGE-L衡量生成摘要与参考摘要之间的n元组重叠程度
BLEU评估n元组的精确率
METEOR在评估中考虑词干提取和同义...

访问受限。请登录或开始试用以查看此内容。

讨论

通过在法律领域文本摘要任务中建立新的性能基准,验证了将基于案例的推理(CBR)增强方法应用于多阶段 Transformer 设计的有效性。实验结果表明,ROUGE 指标显著提升,分别达到 78.4 的 ROUGE-1、54.8 的 ROUGE-2 和 75.3 的 ROUGE-L,同时在领域特定指标上实现了 98% 的法律实体识别 F1 值。为进一步验证各组件的贡献,本文引入了仅使用 CBR 和仅使用 Transformer 的基线模型。仅使用 CBR 的基线模型在事实准确性和推理保持方面表现良好,但缺乏语言流畅性和全面覆盖能力;相反,仅使用 Transformer 的基线模型生成的摘要更流畅且词汇重叠度更高,但在法律实体识别和推理准确性方面表现较弱。而将两者结合(多阶段 + CBR)的模型优于两个基线模型,证实了 CBR 增强了上下文的语义锚定,而 Transformer 提升了语言流畅性和语义抽象能力。该消融实验凸显了符号化检索与神经网络摘要之间的互补优势,从而证明了在所提出的混合模型中集成两种方法的合理性。

关键步骤

访问受限。请登录或开始试用以查看此内容。

披露

作者声明本研究内容不存在潜在的利益冲突。

致谢

作者们衷心感谢印度特伦甘纳邦海得拉巴的科内鲁·拉克希马亚教育基金会( deemed to be University )计算机科学与工程系为本研究提供的必要计算设施和研究基础设施。特别感谢为本研究中使用的法律语料库的标注与评估工作做出贡献的法律专家和领域专家。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
CPU 硬件AMD EPYC 7742 (64 核, 2.25 GHz)1 台AMD
框架PyTorch2https://pytorch.org
GPU 硬件NVIDIA A100 (40 GB)2 台NVIDIA Corp.
图计算框架DGL1.1https://www.dgl.ai
Hugging Face Transformers4.32.0https://huggingface.co/transformers
SpaCy3.6https://spacy.io
NLTK3.8.1https://www.nltk.org

参考文献

  1. Powers, D. M. Evaluation: From precision, recall and F-measure to ROC, informedness, markedness & correlation. J Mach Learn Technol. 2 (1), 37-63 (2011).
  2. Eisenberg, M. A. Legal Reasoning. , Cambridge University Press. (2022).
  3. Lin, C. Y. ROUGE: A Package for Automatic Evaluation of Summaries. Text Summarizat Branches Out. , 74-81 (2004).
  4. Lewis, M., et al. Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. Proc ACL. , 7871-7880 (2020).
  5. Hadi, A. Leveraging Transformer-Based Language Models to Bridge the Gap Between Language and Specialized Domains. [Doctoral Dissertation]. , Institut Polytechnique de Paris. (2024).
  6. Waterworth, K. Model-Agents of Change: A Meta-Cognitive, Interdisciplinary, Self-Similar, Synergetic Approach to Neuro-Symbolic Semantic Search and Retrieval Augmented Generation. [Master's Thesis]. , Miami University. (2024).
  7. Zhang, J., Zhao, Y., Saleh, M., Liu, P. PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization. Proc ICML. , 11328-11339 (2020).
  8. Li, Z., et al. When object detection meets knowledge distillation: A survey. IEEE Trans. Pattern Anal Mach Intell. 45 (8), 10555-10579 (2023).
  9. Chen, Y., et al. Citation Network Analysis for Legal Reasoning. J AI Law. 28 (2), 145-170 (2020).
  10. Raffel, C., et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. J Mach Learn Res. 21 (140), 1-67 (2020).
  11. Reimers, N., Gurevych, I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proc EMNLP. , 3982-3992 (2019).
  12. Gunning, D., Aha, D. DARPA's explainable artificial intelligence (XAI) program. AI Mag. 40 (2), 44-58 (2019).
  13. Mihalcea, R., Tarau, P. TextRank: Bringing Order into Texts. Proc EMNLP. , 404-411 (2004).
  14. Sharma, G., Sharma, D. Automatic text summarization methods: A comprehensive review. SN Comput Sci. 4 (1), 33(2022).
  15. Xu, J., Croft, W. B. Neural Networks for Text Classification. Inf Retr J. 20 (3), 259-289 (2017).
  16. Ghosh, S., Dutta, A., Das, A. Indian Legal Text Summarization: A Text Normalisation-based Approach. arXiv. , (2022).
  17. Silver, D., et al. Mastering the Game of Go with Deep Neural Networks and Tree Search. Nature. 529, 484-489 (2016).
  18. Chalkidis, I., et al. LexGLUE: A benchmark dataset for legal language understanding in English. Proc ACL. 60 (1), 4310-4330 (2022).
  19. Ashley, K. Artificial Intelligence and Legal Analytics. , Cambridge University Press. (2017).
  20. Chalkidis, I., Fergadiotis, M., Aletras, N. LEGAL-BERT: The Muppets Straight Out of Law School. Proc ACL. , 2898-2910 (2020).
  21. Vaswani, A., et al. Attention Is All You Need. Adv Neural Inf Process Syst. 30, 5998-6008 (2017).
  22. Baker, A. R., Slack, F. J. ADAR1 and its implications in cancer development and treatment. Trends Genet. 38 (8), 821-830 (2022).
  23. Casola, S., Lavelli, A. Summarization, simplification, and generation: The case of patents. Expert Syst. Appl. 205, 117627(2022).
  24. Valente, A. Legal Knowledge Engineering. , IOS Press. (1995).
  25. Katz, D. M., et al. Natural language processing in the legal domain. arXiv. , (2023).
  26. Gilpin, L., et al. Explaining Explanations: An Approach to Interpretable AI. Proc ICML. 70, 89-98 (2018).
  27. Davoodijam, E., Alambardar Meybodi, M. Evaluation metrics on text summarization: comprehensive survey. Knowl Inf Syst. 66 (12), 7717-7738 (2024).
  28. Schauer, F. Precedent. , Stanford Encyclopedia of Philosophy. (1989).
  29. Bengio, Y., Louradour, J., Collobert, R., Weston, J. Curriculum Learning. Proc ICML. , 382-389 (2009).
  30. Vrandecic, D., Krötzsch, M. Wikidata: A Free Collaborative Knowledge Base. Commun ACM. 57 (10), 78-85 (2014).
  31. Chu, Y., Ye, M., Qian, Y. Fine-Grained Image Recognition Methods and Their Applications in Remote Sensing Images: A Review. IEEE J Sel Top Appl Earth Obs Remote Sens. 17 (6), 1234-1250 (2024).
  32. Vue, Z., et al. Stories from Hmong in STEMM. Trends Genet. 39 (8), 587-592 (2023).
  33. Begum, N., Goyal, A. Analysis of Legal Case Document Automated Summarizer. Proc ISPCC. , 533-538 (2021).
  34. Surden, H. Ethics of AI in Legal Practice. J Legal Ethics. 32 (2), 145-163 (2019).
  35. Bench-Capon, T. J. M., Sartor, G. Ontology-Based Legal Reasoning. Artif Intell Law. 11 (2), 125-157 (2003).
  36. Liu, Y. Fine-tune BERT for Extractive Summarization. arXiv. , (2019).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

Transformer ROUGE