Monitoring the morphological traits of farmed fish is pivotal in understanding growth, estimating yield, artificial breeding, and population-based investigations. Currently, morphology measurements mostly happen manually and sometimes in conjunction with individual fish imaging, which is a time-consuming and expensive procedure. In addition, extracting useful information such as fish yield and detecting small variations due to growth or deformities, require extra offline processing of the manually collected images and data. Deep learning (DL) and specifically convolutional neural networks (CNNs) have previously demonstrated great promise in estimating fish features such as weight and length from images. However, their use for extracting fish morphological traits through detecting fish keypoints (landmarks) has not been fully explored. In this paper, we developed a novel DL architecture that we call Mobile Fish Landmark Detection network (MFLD-net). We show that MFLD-net can achieve keypoint detection accuracies on par or even better than some of the state-of-the-art CNNs on a fish image dataset. MFLD-net uses convolution operations based on Vision Transformers (i.e. patch embeddings, multi-layer perceptrons). We show that MFLD-net can achieve competitive or better results in low data regimes while being lightweight and therefore suitable for embedded and mobile devices. We also provide quantitative and qualitative results that demonstrate its generalisation capabilities. These features make MFLD-net suitable for future deployment in fish farms and fish harvesting plants.

监测养殖鱼类的形态特征对于了解生长、估算产量、人工育种和种群调查至关重要。目前，形态测量大多是手动进行的，有时与个体鱼成像结合进行，这是一个耗时且昂贵的过程。此外，提取有用的信息（例如鱼类产量）并检测由于生长或畸形而引起的微小变化，需要对手动收集的图像和数据进行额外的离线处理。深度学习 (DL)，尤其是卷积神经网络 (CNN) 此前已经在根据图像估计鱼类特征（例如重量和长度）方面展现出了巨大的前景。然而，它们通过检测鱼类关键点（地标）来提取鱼类形态特征的用途尚未得到充分探索。在本文中，我们开发了一种新颖的深度学习架构，称为移动鱼类地标检测网络（MFLD-net）。我们证明，MFLD-net 在鱼类图像数据集上可以实现与一些最先进的 CNN 相当甚至更好的关键点检测精度。MFLD-net 使用基于 Vision Transformer 的卷积运算（即补丁嵌入、多层感知器）。我们证明，MFLD-net 可以在低数据条件下实现有竞争力或更好的结果，同时重量轻，因此适用于嵌入式和移动设备。我们还提供定量和定性结果来证明其泛化能力。这些功能使 MFLD-net 适合未来在养鱼场和鱼类捕捞厂中的部署。我们证明，MFLD-net 在鱼类图像数据集上可以实现与一些最先进的 CNN 相当甚至更好的关键点检测精度。MFLD-net 使用基于 Vision Transformer 的卷积运算（即补丁嵌入、多层感知器）。我们证明，MFLD-net 可以在低数据条件下实现有竞争力或更好的结果，同时重量轻，因此适用于嵌入式和移动设备。我们还提供定量和定性结果来证明其泛化能力。这些功能使 MFLD-net 适合未来在养鱼场和鱼类捕捞厂中的部署。我们证明，MFLD-net 在鱼类图像数据集上可以实现与一些最先进的 CNN 相当甚至更好的关键点检测精度。MFLD-net 使用基于 Vision Transformer 的卷积运算（即补丁嵌入、多层感知器）。我们证明，MFLD-net 可以在低数据条件下实现有竞争力或更好的结果，同时重量轻，因此适用于嵌入式和移动设备。我们还提供定量和定性结果来证明其泛化能力。这些功能使 MFLD-net 适合未来在养鱼场和鱼类捕捞厂中的部署。补丁嵌入、多层感知器）。我们证明，MFLD-net 可以在低数据条件下实现有竞争力或更好的结果，同时重量轻，因此适用于嵌入式和移动设备。我们还提供定量和定性结果来证明其泛化能力。这些功能使 MFLD-net 适合未来在养鱼场和鱼类捕捞厂中的部署。补丁嵌入、多层感知器）。我们证明，MFLD-net 可以在低数据条件下实现有竞争力或更好的结果，同时重量轻，因此适用于嵌入式和移动设备。我们还提供定量和定性结果来证明其泛化能力。这些功能使 MFLD-net 适合未来在养鱼场和鱼类捕捞厂中的部署。