GAN — DCGAN（深度卷积生成对抗网络）

以下是 DCGAN 的总结：

1. 用卷积步幅替换所有最大池化
2. 使用转置卷积进行上采样。
3. 消除全连接层。
4. 除了生成器的输出层和鉴别器的输入层外，使用批量归一化。
5. 在生成器中使用 ReLU，除了使用 tanh 的输出。
6. 在鉴别器中使用 LeakyReLU。

以下是直接从论文中引用的调优技巧。

所有模型均使用小批量随机梯度下降 (SGD) 进行训练，小批量大小为 128。所有权重均从标准差 0.02 的零中心正态分布初始化。 在 LeakyReLU 中，所有模型的泄漏斜率都设置为 0.2。 虽然之前的 GAN 工作使用动量来加速训练，但我们使用了带有调整超参数的 Adam 优化器。 我们发现建议的 0.001 学习率太高，改用 0.0002。 此外，我们发现将动量项 β1 保留在建议值 0.9 会导致训练振荡和不稳定，而将其降低到 0.5 有助于稳定训练。

DCGAN 的简单性有助于其成功。 我们遇到了一定的瓶颈，即增加生成器的复杂性并不一定会提高图像质量。 在我们确定瓶颈并知道如何更有效地训练 GAN 之前，DCGAN 仍然是新项目的良好起点。