501.
事件因果关系识别(ECI)旨在识别文本中事件之间的因果关系,为深入理解文本逻辑和语义提供线索。当前的事件因果关系识别方法受到事件表征困难和噪声数据等限制的影响,对隐式因果关系不敏感,文档级因果关系识别困难。针对上述问题,该文提出了一种联合模型—图增强Transformer。模型以Transformer为基础框架,利用大语言模型的丰富知识和强大语义理解能力生成先验因果图,以减少数据噪声并平衡标签。使用Longformer生成事件提及嵌入和自注意力权重,为因果图推理提供上下文表示和先验知识。然后,通过引入注意力掩码和自注意力初始化机制,将先验因果图和自注意力权重融入Transformer中。最后,设计了两种损失函数来训练和优化模型。实验表明,图增强Transformer的总体性能优于当前先进的方法,在文档级事件因果关系识别中综合性能F
1值提升了1.4%,并且对文本长度有更强的鲁棒性。… …
相似文献