Sekyoro的博客小屋
·
回看深度学习:经典网络学习
💡
原文中文，约4500字，阅读约需11分钟。
📝
内容提要
传统深度学习中，VQ-VAE通过向量量化解决潜在变量被忽略的问题，编码器输出离散编码，并结合自监督学习。模型定义离散潜在空间，通过最近邻查找计算潜变量。损失由重构损失和嵌入优化组成。Transformer结合CNN用于高分辨率图像合成，生成过程可控。
🎯
关键要点
- 传统深度学习中，VQ-VAE通过向量量化解决潜在变量被忽略的问题。
- VQ-VAE的编码器输出离散编码，结合自监督学习。
- 模型定义离散潜在空间，通过最近邻查找计算潜变量。
- 损失由重构损失和嵌入优化组成。
- Transformer结合CNN用于高分辨率图像合成，生成过程可控。
- VQ-VAE避免了后验崩溃问题，学习离散潜在表示。
- 模型通过共享嵌入空间计算离散潜变量，并优化重构损失。
- 使用向量量化算法优化嵌入空间，确保嵌入训练速度与编码器参数相匹配。
- Transformer在图像生成中结合卷积神经网络的优点，提升表达能力。
- 生成高分辨率图像需要处理图像块和裁剪图像，使用滑动窗口方式进行采样。
➡️
