When using CNN models to extract features of an occluded face, the occluded part will inevitably be embedded into the representation in latent space, just as other facial regions. Existing methods deal with occluded face recognition either by augmenting the training dataset with synthesized occluded faces or by detecting/segmenting occlusions first and subsequently recognize the face based on unoccluded facial regions. Instead, we develop simultaneous occlusion segmentation and face recognition to make the most of the correlation relationship lie in two tasks. This is inspired by the phenomenon that features corrupted by occlusion are traceable within a CNN trained to segment occluded parts in face images. Specifically, we propose a simultaneous occlusion invariant deep network (SOIDN), containing simultaneously operating face recognition and occlusion segmentation networks coupled with an occlusion mask adaptor module as their bridge to learn occlusion invariant features. The training of proposed SOIDN is jointly supervised by classification and segmentation losses aiming to obtain: (1) occlusion invariant features, (2) occlusion segmentation, and (3) an occlusion feature mask that weighs the reliability of features. Experiments on synthesized occluded datasets (e.g., LFW-occ) and real occluded face datasets (e.g., AR) demonstrate that the proposed approach outperforms state-of-the-art methods for face verification and identification when handling occlusion challenges.

中文翻译：

---

使用同时分割的遮挡不变人脸识别

当使用 CNN 模型提取被遮挡人脸的特征时，被遮挡的部分将不可避免地嵌入到潜在空间的表示中，就像其他面部区域一样。现有的方法处理被遮挡的人脸识别，要么通过使用合成的遮挡人脸来增加训练数据集，要么首先检测/分割遮挡，然后根据未遮挡的面部区域识别人脸。相反，我们开发了同时的遮挡分割和人脸识别，以充分利用相关关系存在于两个任务中。这是受到以下现象的启发：被遮挡破坏的特征可以在训练有素的 CNN 中追踪，以分割面部图像中的遮挡部分。具体来说，我们提出了一种同时遮挡不变的深度网络（SOIDN），包含同时运行的人脸识别和遮挡分割网络以及遮挡掩码适配器模块作为它们学习遮挡不变特征的桥梁。所提出的 SOIDN 的训练由分类和分割损失联合监督，旨在获得：（1）遮挡不变特征，（2）遮挡分割，以及（3）权衡特征可靠性的遮挡特征掩码。在合成遮挡数据集（例如，LFW-occ）和真实遮挡人脸数据集（例如，AR）上的实验表明，在处理遮挡挑战时，所提出的方法优于用于人脸验证和识别的最新方法。所提出的 SOIDN 的训练由分类和分割损失联合监督，旨在获得：（1）遮挡不变特征，（2）遮挡分割，以及（3）权衡特征可靠性的遮挡特征掩码。对合成遮挡数据集（例如，LFW-occ）和真实遮挡人脸数据集（例如，AR）的实验表明，在处理遮挡挑战时，所提出的方法优于用于人脸验证和识别的最新方法。所提出的 SOIDN 的训练由分类和分割损失联合监督，旨在获得：（1）遮挡不变特征，（2）遮挡分割，以及（3）权衡特征可靠性的遮挡特征掩码。对合成遮挡数据集（例如，LFW-occ）和真实遮挡人脸数据集（例如，AR）的实验表明，在处理遮挡挑战时，所提出的方法优于用于人脸验证和识别的最新方法。