This work presents Unified Contrastive Arbitrary Style Transfer (UCAST), a novel style representation learning and transfer framework, that can fit in most existing arbitrary image style transfer models, such as CNN-based, ViT-based, and flow-based methods. As the key component in image style transfer tasks, a suitable style representation is essential to achieve satisfactory results. Existing approaches based on deep neural networks typically use second-order statistics to generate the output. However, these hand-crafted features computed from a single image cannot leverage style information sufficiently, which leads to artifacts such as local distortions and style inconsistency. To address these issues, we learn style representation directly from a large number of images based on contrastive learning by considering the relationships between specific styles and the holistic style distribution. Specifically, we present an adaptive contrastive learning scheme for style transfer by introducing an input-dependent temperature. Our framework consists of three key components: a parallel contrastive learning scheme for style representation and transfer, a domain enhancement (DE) module for effective learning of style distribution, and a generative network for style transfer. Qualitative and quantitative evaluations show the results of our approach are superior to those obtained via state-of-the-art methods. The code is available at https://github.com/zyxElsa/CAST_pytorch.

这项工作提出了统一对比任意风格迁移（UCAST），一种新颖的风格表示学习和迁移框架，可以适应大多数现有的任意图像风格迁移模型，例如基于 CNN、基于 ViT 和基于流的方法。作为图像风格迁移任务的关键组成部分，合适的风格表示对于获得满意的结果至关重要。基于深度神经网络的现有方法通常使用二阶统计来生成输出。然而，这些从单个图像计算得出的手工特征无法充分利用风格信息，从而导致局部扭曲和风格不一致等伪影。为了解决这些问题，我们通过考虑特定风格与整体风格分布之间的关系，基于对比学习直接从大量图像中学习风格表示。具体来说，我们通过引入依赖于输入的温度，提出了一种用于风格迁移的自适应对比学习方案。我们的框架由三个关键组件组成：用于风格表示和迁移的并行对比学习方案、用于有效学习风格分布的域增强（DE）模块以及用于风格迁移的生成网络。定性和定量评估表明我们的方法的结果优于通过最先进的方法获得的结果。代码可在 https://github.com/zyxElsa/CAST_pytorch 获取。我们通过引入依赖于输入的温度，提出了一种用于风格迁移的自适应对比学习方案。我们的框架由三个关键组件组成：用于风格表示和迁移的并行对比学习方案、用于有效学习风格分布的域增强（DE）模块以及用于风格迁移的生成网络。定性和定量评估表明我们的方法的结果优于通过最先进的方法获得的结果。代码可在 https://github.com/zyxElsa/CAST_pytorch 获取。我们通过引入依赖于输入的温度，提出了一种用于风格迁移的自适应对比学习方案。我们的框架由三个关键组件组成：用于风格表示和迁移的并行对比学习方案、用于有效学习风格分布的域增强（DE）模块以及用于风格迁移的生成网络。定性和定量评估表明我们的方法的结果优于通过最先进的方法获得的结果。代码可在 https://github.com/zyxElsa/CAST_pytorch 获取。用于有效学习风格分布的领域增强（DE）模块，以及用于风格迁移的生成网络。定性和定量评估表明我们的方法的结果优于通过最先进的方法获得的结果。代码可在 https://github.com/zyxElsa/CAST_pytorch 获取。用于有效学习风格分布的领域增强（DE）模块，以及用于风格迁移的生成网络。定性和定量评估表明我们的方法的结果优于通过最先进的方法获得的结果。代码可在 https://github.com/zyxElsa/CAST_pytorch 获取。