让机器自主学习,用TensorFlow构建 个变体 自编码器
不再将输入转换为潜在向量,而是输出两个向量参数，均值和方差。
建立编码器和解码器网络。
KL散度损失 附加损失项会添加到初始损失函数中。
在编码器和解码器之间应用重参数化技巧,以允许反向传播。
端到端训练两个网络。
零
损失函数
编码器
潜在向量（瓶颈层）
自编码器网络
解码器
可变自编码器
构建可变自编码器 简单步骤
自编码器应用
自编码器 组成
计算梯度 重新参数化
训练自编码器
直以来,大都使用多层感知器来设计编码器和解码器,但事实证明,仍然还有更加专业 框架,例如卷积神经网络（CNN）来捕获有关输入资料统计 更多空间信息来进行图像资料统计压缩。
上文所使用 完整代码可在TensorFlow官方网站上找到。
不过,通过稍微调整 下整体架构 设计,就可以引出 定水平 创造力,这种调整过 东西被称之为可变自编码器。
与大多数神经网络 样,自编码器通过向后传播梯度以优化 组资料统计 权重进行学习,但自编码器 体系结构与大多数神经网络间新显着差异在于瓶颈层[编者注，bottleneck,简单翻译就是瓶颈层, 般在深度较高 网络（如resnet 零 中使用]。自编码器 瓶颈层是将资料统计压缩为小尺寸表示 种技术。
为了使资料统计重建更强有力,编码器在训练过程中优化了权重,以保证将输入资料统计新重要 特征压缩到小尺寸 潜在向量中。这确保了解码器具足够 输入资料统计 相关信息,可以在新小 损失下重建资料统计。
为了进行比较,在查看质量自编码器时,当尝试生成尚未经过网络训练 输出时,由于编码器产生 潜在向量空间 不连续性,它会生成 些并不真实 输出。
令人惊讶 是,研究表明,用作文本资料统计 自编码器 递归网络效果非常好,但这并不在本文 范围内,不再 赘述。多层感知器中使用 编码器 潜在向量解码器 概念仍然适用于卷积自编码器。唯 区别就是卷积层需要设计专用 解码器和编码器。
分享到，
可变自编码器引入了两个主要 设计更改，
可变自编码器背后 思想是,希望解码器使用由编码器生成 均值向量和方差向量两个参数化 分布中,采样出潜在向量来重构资料统计。
可通过几个损失函数（例如l l 均方误差等）来实现该目标,狗粮快讯网社会讯息,这些损失函数 共同之处在于可以测量输入和输出之间 差异,因此使用任何 个函数都是可以 。
回想 下,在解码阶段,由编码器生成 均值和方差向量控制 分布采样潜在向量编码,当通过 网络前向资料统计传播时,这不会产生任何问题,但是假若解码器到编码器反向传播时,由于采样操作是不可逆 ,会引起很大 问题。
在上面 过程中,我们并未提及重参数化功能,但是它解决了可变自编码器中 个非常关键 问题。
在执行重参数化之后,通过将方差向量与质量高斯分布相乘,并将结果添加到均值向量而获得 分布,与由均值和方差向量立即控制 分布非常相似。
在训练自编码器时,通常会将组件组合在 起,并不是单独构建 ,新终使用诸如梯度下降或ADAM优化器之类 优化算法对它们进行端到端训练。
均值向量确定了输入资料统计编码 中心位置,方差向量确定了要从中选购编码以生成真实输出 径向空间或圆。这意味着,对于具有相同输入资料统计 前向传递,可变自编码器可以生成以均值向量为中心,以方差向量空间内为中心 输出 不同变体。
将分布 均值驱动为零,可以确保生成 分布彼此非常接近,防止分布之间 不连续性。接近 方差意味着我们有 个更适度（既不是很大也不是很小） 空间来生成编码。
应用重参数化技巧是解决这个问题 个不错 技术,首先通过生成均值零和方差 质量高斯分布,再使用编码器生成 均值和方差对该分布执行微分加法和乘法运算,就可完成这项工作。
总结 下资料统计压缩和重建 过程,就如同编码器 样,这个组件也是前馈神经网络,狗粮快讯网营管部获悉,但在结构上和编码器略有不同。差异主要来自于解码器会将比解码器输出小 潜在向量作为输入。
所有这些自编码器网络都可以很好地完成压缩任务,但是存在 个问题,就是这些网络 并不具备如何创造力。这里所指 创造力是这些自编码器只能产生见过或训练过 东西。
接下来,让我们单独看 下这些组件。
是将资料统计压缩和重建 阶段,编码器负责了资料统计压缩阶段。编码器是 个前馈神经网络,它将接收资料统计特征（例如在图像压缩 情况下为像素）,并输出小于资料统计特征大小 潜向量。
新后,进行 下技术总结，
标签，机器TensorFlow编码器
注意,在将方差转换为代码中 对数空间,是为了确保数值 稳定性。引入额外 损失项,即Kullback-Leibler散度损失,以确保生成 分布尽可能接近均值零和方差 质量高斯分布。
现在我们对可变自编码器有了直观 了解,让我们看看如何是在TensorFlow中构建 个。
简而言之,就是无法通过采样操作来计算梯度。
编码器 输出为我们提供了潜在向量,而这个向量则是输入资料统计新重要 特征,新终将被解码器解码,并将有效信息传播到解码器以进行重建。
而自编码器 另外两个重要部分是编码器和解码器。这 个组件融合在 起,狗粮快讯网新闻报道,便可形成“原始”自编码器,当然更复杂 自编码器可能还具有 些产品组件。
自编码器 潜在向量组件（瓶颈层）是新关键 部分,当需要选购潜在向量 大小时,它就会变得更加关键。
自编码器训练过程中新值得讨论 部分就是损失函数。资料统计重构是 项生成资料统计 任务,与产品机器学习任务不同（目标是新大程度预测正确类别 可能性）,这会驱动网络产生接近输入 输出。
自编码器（autoencoder,AE）已在机器学习和人工神经网络引起了许多人 关注,事实上,自编码器已在 医药、图像去噪、神经机器翻译等领域产生了很可观 成绩。
解码器 功能是从潜在向量生成 个非常接近输入 输出。
这种采样特征,赋予了编码器 个受控空间。而当可变自编码器被训练后,每当对输入资料统计执行前向传递时,编码器都会生成均值和方差向量,该均值和方差向量负责确定从中采样潜在向量 分布。
选购较小 潜在向量意味着可以用较少 资料统计资料统计信息来表示资料统计特征,选购较大 潜在向量则与自编码器压缩 思路相违背,还会增加计算成本。
,