The popularity of online home design and floor plan customization has been steadily increasing. However, the manual conversion of floor plan images from books or paper materials into electronic resources can be a challenging task due to the vast amount of historical data available. By leveraging neural networks to identify and parse floor plans, the process of converting these images into electronic materials can be significantly streamlined. In this paper, we present a novel learning framework for automatically parsing floor plan images. Our key insight is that the room type text is very common and crucial in floor plan images as it identifies the important semantic information of the corresponding room. However, this clue is rarely considered in previous learning-based methods. In contrast, we propose the Row and Column network (RC-Net) for recognizing floor plan elements by integrating the text feature. Specifically, we add the text feature branch in the network to extract text features corresponding to the room type for the guidance of room type predictions. More importantly, we formulate the Row and Column constraint module (RC constraint module) to share and constrain features across the entire row and column of the feature maps to ensure that only one type is predicted in each room as much as possible, making the segmentation boundaries between different rooms more regular and cleaner. Extensive experiments on three benchmark datasets validate that our framework substantially outperforms other state-of-the-art approaches in terms of the metrics of FWIoU, mACC and mIoU.

在线家居设计和平面图定制的受欢迎程度一直在稳步增长。然而，由于存在大量可用的历史数据，将书籍或纸质材料中的平面图图像手动转换为电子资源可能是一项具有挑战性的任务。通过利用神经网络来识别和解析平面图，可以显着简化将这些图像转换为电子材料的过程。在本文中，我们提出了一种用于自动解析平面图图像的新颖学习框架。我们的主要见解是，房间类型文本在平面图图像中非常常见且至关重要，因为它标识了相应房间的重要语义信息。然而，在以前的基于学习的方法中很少考虑这条线索。相比之下，我们提出了行列网络（RC-Net），用于通过集成文本特征来识别平面图元素。具体来说，我们在网络中添加文本特征分支来提取与房间类型对应的文本特征，以指导房间类型预测。更重要的是，我们制定了行和列约束模块（RC约束模块）来共享和约束特征图的整个行和列的特征，以确保每个房间中尽可能只预测一种类型，从而使得分割不同房间之间的界限更加规则和干净。对三个基准数据集的广泛实验验证了我们的框架在指标方面远远优于其他最先进的方法 我们在网络中添加文本特征分支来提取与房间类型对应的文本特征，以指导房间类型预测。更重要的是，我们制定了行和列约束模块（RC约束模块）来共享和约束特征图的整个行和列的特征，以确保每个房间中尽可能只预测一种类型，从而使得分割不同房间之间的界限更加规则和干净。对三个基准数据集的广泛实验验证了我们的框架在指标方面远远优于其他最先进的方法 我们在网络中添加文本特征分支来提取与房间类型对应的文本特征，以指导房间类型预测。更重要的是，我们制定了行和列约束模块（RC约束模块）来共享和约束特征图的整个行和列的特征，以确保每个房间中尽可能只预测一种类型，从而使得分割不同房间之间的界限更加规则和干净。对三个基准数据集的广泛实验验证了我们的框架在指标方面远远优于其他最先进的方法 我们制定行和列约束模块（RC约束模块）来共享和约束特征图的整个行和列的特征，以确保每个房间中尽可能只预测一种类型，使得不同房间之间的分割边界房间比较规则、干净。对三个基准数据集的广泛实验验证了我们的框架在指标方面远远优于其他最先进的方法 我们制定行和列约束模块（RC约束模块）来共享和约束特征图的整个行和列的特征，以确保每个房间中尽可能只预测一种类型，使得不同房间之间的分割边界房间比较规则、干净。对三个基准数据集的广泛实验验证了我们的框架在指标方面远远优于其他最先进的方法FWIoU、MACC和MIoU。