这项研究扎心了，目前AI研究界里“文本风格迁移”有什么重大成果

堪比取色器这项研究扎心了！多种文本风格随意复制画图软件中的取色器很多人都用过，“吸管”吸一下就能复制你想要的颜色，然后就可以把这个颜色用到任何你想要改变的素材中：

现在，文本的风格也能实现这样的“一键复制”了！最近，西班牙的研究人员成功实现了图像中文本区域的风格迁移（Selective Style Transfer for Text）：

一张带有文字的照片+一张文字风格鲜明的照片

就能轻松地改变原来图片中的文本风格：

（颜色、字体都发生了变化）甚至，用这种方法还能模仿别人的笔迹：

这是一个人（称为A）手写文字片段的照片：

这是另一个人（称为B）手写的另一段文字的照片：

将A写的这段文字变换为B的风格，A写的这段文字就变成了下面这样的效果：

这种针对图像中的文字进行风格迁移的任务叫做选择性文本风格迁移（Selective Style Transfer for Text）：首先，自动检测图像中文本所在的区域，然后将新的文本样式应用到该区域，图像中的非文本部分保持不变。

有两种方法都实现了不错的文本风格迁移效果：两阶段法和端到端法Two-stage两阶段法1）首先根据源风格图像（上图中的Source Style Image）将整幅图像（上图中的Source Content Image）风格化；

2）利用TextFCN文本检测器确定图像中的文本区域，并计算该图像区域像素级的热图。为了让最终生成的图像只改变文本区域的风格，将原始图像和使用TextFCN热图加权的风格化图像进行混合。

这种方法可以获得逼真的文本风格化图像，并确保非文本区域保持不变。

End-to end端到端法在深度学习中，端到端指的是输入原始数据，输出的是最后的结果，中间的一系列操作都在神经网络内部进行，不必分模块进行处理（可以把中间的神经网络当作黑盒子）。

受到“蒸馏策略（distillation strategy）”的启发，这项研究提出了一个新的端到端网络架构（“蒸馏”的基本思想是将能够解决不同任务的各种网络学习到的信息传递到一个模型中）。

将图像风格转换网络（image style transformation network）与文本检测器结合起来，利用预训练的图像风格转换网络和文本的真实注释来训练一个随机初始化图像转换网络（上图中的Selective Style Transfer），损失函数为均方误差损失（mean squared error loss）。

图像中的文本风格迁移在艺术设计和学术研究中都能发挥作用：使用这两种方法实现文本风格迁移，可以得到充满设计感的照片，设计师能快速地找到一个场景适合的文本风格：（在上面两幅图中，左侧这一列的图像“复制”了顶端两张小图的文字风格，生成了变换风格后的图像）一些带有复杂背景的文本风格也能完美复制到别的场景中：

使用文本风格迁移，可以轻松切换不同的打印字体（machine printed text）风格。利用这种特点，在文本识别任务中，可以将图像中任意风格的文本转换为统一的风格，减少识别步骤。这种方法还是一种非常好的数据增强工具，可以增加文本的多样性（同一段文字，不同的字体、颜色等属性），提高文本检测模型的性能。送上原文地址：Selective Style Transfer for Text，详细的技术实现可以参考文章中的介绍。这项研究借鉴了当下非常火热的图像风格迁移使用的方法，你也可以去研究一番具体是如何借鉴的。

图像风格迁移更多好玩的科技知识可关注

@人民邮电出版社