1. 风格迁移

2. 算法

具体可以参考论文 A Neural Algorithm of Artistic Style。

• C：内容图
• S：风格图
• G：生成图

定义代价函数：

$$J(G)=\alpha J_{content}(C,G)+\beta J_{style}(S,G)$$

算法过程为：

1. 随机生成G
2. 使用梯度下降来减小 $J(G)$，即 $G:=G-\frac{\partial }{\partial G}J(G)$

3. 内容代价函数

• 选取中间层 $l$，不要太浅的网络层，也不要太深的网络层
• 使用预训练好的卷积网络，例如VGG
• 计算激活值 $a^{[l](C)}$ 和 $a^{[l](G)}$
• 令 $J_{content}(C,G)=\mid \mid a^{[l](C)}-a^{[l](G)}\mid {\mid }^2$

4. 风格代价函数

对于卷积网络的中间层 $l$ 层，我们可以计算它的风格矩阵。

• 令 $a_{ijk}^{[l]}$ 表示第 $l$ 层某一点的激活值（$a^{[l]}$ 尺寸为 $n_H^{[l]}\times n_W^{[l]}\times n_C^{[l]}$）
• 令 $G^{[l]}$ 表示第 $l$ 层的风格矩阵。$G^{[l]}$ 尺寸为 $n_C^{[l]}\times n_C^{[l]}$，其中每一项表示两个通道之间的相关性

则：

$$G_{k{k}^{\prime }}^{[l]}=\sum _{i=1}^{n_H^{[l]}}\sum _{j=1}^{n_W^{[l]}}{a}_{ijk}^{[l]}{a}_{ij{k}^{\prime }}^{[l]}$$

令 $G^{[l](S)}$ 表示风格图的风格矩阵，$G^{[l](G)}$ 表示生成图的风格矩阵，则：

$$\begin{array}{}{J}_{style}^{[l]}(S,G)& =& \frac{1}{(2n_H^{[l]}{n}_W^{[l]}{n}_C^{[l]}{)}^2}\mid \mid G^{[l](S)}-G^{[l](G)}\mid {\mid }^2\\ & =& \frac{1}{(2n_H^{[l]}{n}_W^{[l]}{n}_C^{[l]}{)}^2}\sum _{k=1}^{n_C^{[l]}}\sum _{k^{\prime }=1}^{n_C^{[l]}}(G_{k{k}^{\prime }}^{[l](S)}-G_{k{k}^{\prime }}^{[l](G)}{)}^2\end{array}$$

从而：

$$J_{style}(S,G)=\sum _l{\lambda }^{[l]}{J}_{style}^{[l]}(S,G)$$