阅读完《TensorFlow 学习摘要（三） 深度学习 - 梯度下降法》文章后，现在我们对 TensorFlow 的优化器进一步了解。 深度学习常见的是对于梯度的优化，优化器最后其实就是各种对于梯度下降算法的优化。TensorFLow 提供了很多优化器的支持。 tf.train

阅读完《TensorFlow 学习摘要（三） 深度学习 - 学习率》文章后，我们现在可以对之前《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门04 - Dropout 方法优化》中的案例进行改造，学习率指数衰减法再来看下结果。 添加代码，如下所示。 glo

学习率决定了参数每次更新的幅度。如果幅度过大，那么可能导致参数在极优值的两侧来回移动。相反的，当学习率过小时，虽然能保证收敛性，但是这会大大降低优化速度。 train = tf.train.GradientDescentOptimizer( η ).minimize(loss)

不同评价指标往往具有不同的量纲单位，这样的情况会影响到数据分析的结果。因为，其中一部分数据占压倒性的优势，另一部分数据完全体现不出来作用。为了消除指标之间的量纲影响，避免人为的数据倾斜，需要进行数据归一化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同

L1正则化、L2正则化是通过修改代价函数来实现的，而 Dropout 方法通过修改神经网络本身来实现的，它是在训练网络时用的一种技巧。 假设，我们要训练这个网络，在训练开始时，让输入层和输出层保持不变，然后随机地“删除”一些的隐藏层单元，视它们为不存在，得到如下的网络。 这样

阅读完《TensorFlow 学习摘要（三） 深度学习 - 正则化方法》文章后，我们现在可以对之前《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门02 - 欠拟合和过拟合》中的案例进行改造，添加 L2 正则化方法再来看下结果。 添加代码，如下所示。 # 正

阅读完《TensorFlow 学习摘要（三） 深度学习 - Dropout 方法》文章后，我们现在可以对之前《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门02 - 欠拟合和过拟合》中的案例进行改造，添加 Dropout 方法再来看下结果。 添加代码，如下所

过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。这种现象的产生，一般是模型过于复杂，过分拟合数据的噪声。正则化则是对模型参数添加先验，使得模型复杂度较小，对于噪声输入扰动相对较小。 L2 正则化L2 正则化，会在代价函数后面再加上一个正则化项。 其中，C0代表原

这篇文章，我们来了解另外一个知识点：权值初始化。 0 值初始化在《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 - MNIST机器学习》一文中，我们采用的方式就是 0 值初始化。 W = tf.Variable(tf.zeros([784, 10]))

阅读完《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 - MNIST机器学习》与《TensorFlow 学习摘要（三） 深度学习 - 欠拟合和过拟合》两篇文章后，我们现在可以对之前《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 -

阅读完《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 - MNIST机器学习》，我们现在来了解一些核心概念与优化方案。这篇文章，我们接着来梳理下欠拟合和过拟合。 在这张图中，第一个情况，使用一条直线来作为模型，很明显无论如何调整起始点和斜率都不可能很好的

阅读完《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 - MNIST机器学习》，我们现在来了解一些核心概念与优化方案。这篇文章，我们先来梳理下训练集、测试集和验证集。 一般情况下，我们会将数据集分成：训练集(train set) 、验证集(validati

MNIST 是一个入门级的计算机视觉数据集，它包含各种手写数字图片： MNIST数据集MNIST 数据集的官网是 Yann LeCun’s website。在这里，官方提供了一份 python 源代码用于自动下载和安装这个数据集。 """Functions for downl

这个案例中，我们可以分成三个步骤。 定义神经网络的结构和前向传播的输出结果。 定义损失函数以及选择反向传播优化的算法。 生成会话，并且在训练数据上进行运行反向传播优化算法。 import tensorflow as tf import numpy as np import

梯度消失梯度消失，会导致前面的隐藏层学习正常，后面的隐藏层的权重基本上不进行更新，导致的是后面的隐藏层基本上学习不到东西。换句话说，在模型训练中，如果存在多个隐藏层，梯度的从第一个隐藏层传播到第二个隐藏层的时候，第二层学到的东西不够多，到了第三层，学习的效率就更低了。 事实上，每