Unified Named Entity Recognition as Word-Word Relation Classification-编程知识

Unified Named Entity Recognition as Word-Word Relation Classification

原文链接：https://arxiv.org/pdf/2112.10070.pdf

AAAI 2022

介绍

NER主要包括三种类型：flat、overlap和discontinuous。目前效果最好的模型主要是：span-based和seq2seq，但前者注重于边界的识别，后者可能存在exposure bias。

作者对entity words之间的相邻关系进行建模，将NER定义为一个word-word之间的关系分类任务，一共定义三种关系NONE、Next-Neighboring-Word（NNW）、Tail-Head-Word-*（THW-S）如下图所示：

方法

模型的整体架构如下图所示，主要包括三个部分：BERT和LSTM组合而成的encoder、用于建立和完善word-pair grid表征的卷积层，Biaffine和MLP联合的分类层：

Encoder Layer

使用BERT+BiLSTM来作为encoder，将一个词的pieces经过一个max pooling来得到该词的表征，送入到BiLSTM来进一步获取上下文信息，得到word表征为 $H=\left \{ h_{1},h_{2},h_{3},,,h_{N} \right \}\subseteq R^{N\times d_{h}}$ ， $d_{h}$ 表示每个word embedding的维度。

Convolution Layer

使用CNN来优化表征，包括三个模块，1）condition layer，用于生成word-pair grid的表征；2）用于丰富word-pair grid表征的bert式grid表征；3）用于捕捉相邻词和distant word之间交互的多粒度扩张卷积。

Conditional Layer Normalization

为了预测word pairs之间的关系，将word-pair gird的表征视为3维的矩阵V，vij表示word pair(xi,xj)，而不是(xj,xi)，因为NNW和THW关系是有方向的，Vij由xi和ji计算得出。如下所示：

BERT-Style Grid Representation Build-Up

BERT中的输出由token embedding、position embedding和segment embedding组成，作者受此启发，使用 $V\subseteq R^{N\times N\times d_{h}}$ (词的信息)、 $E^{d}\subseteq R^{N\times N\times d_{E_{d}}}$ （每对单词之间的相对位置）和 $E^{t}\subseteq R^{N\times N\times d_{E_{t}}}$ （区域信息，用于表示网格中上三角和下三角）这三种embedding进行concate后送入MLP得到最终的网格表征 $C\subseteq R^{N\times N\times d_{c}}$ ：

Multi-Granularity Dilated Convolution

使用不同扩张率( $l = 1,2,3$ )的二维扩张卷积来捕获不同距离word之间的交互，经过多次扩张中，得到最终word-pair的表征 $Q=[Q^{1},Q^{2},Q^{3}]$ ,

Co-Predictor Layer

作者使用MLP和biaffine分别进行预测分类（作者说是因为之前有论文说这样效果更好），最将两者的结果进行合并。不过biaffine模型是将encoder的输出作为输入（即图中虚线的表示），使用两个MLP分别计算xi和yj的word presentation，然后使用biaffine classifier来计算这对词之间的关系分数作为预测结果：