学习率决定了参数每次更新的幅度。如果幅度过大，那么可能导致参数在极优值的两侧来回移动。相反的，当学习率过小时，虽然能保证收敛性，但是这会大大降低优化速度。 train = tf.train.GradientDescentOptimizer( η ).minimize(loss)

不同评价指标往往具有不同的量纲单位，这样的情况会影响到数据分析的结果。因为，其中一部分数据占压倒性的优势，另一部分数据完全体现不出来作用。为了消除指标之间的量纲影响，避免人为的数据倾斜，需要进行数据归一化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同

L1正则化、L2正则化是通过修改代价函数来实现的，而 Dropout 方法通过修改神经网络本身来实现的，它是在训练网络时用的一种技巧。 假设，我们要训练这个网络，在训练开始时，让输入层和输出层保持不变，然后随机地“删除”一些的隐藏层单元，视它们为不存在，得到如下的网络。 这样

阅读完《TensorFlow 学习摘要（三） 深度学习 - 正则化方法》文章后，我们现在可以对之前《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门02 - 欠拟合和过拟合》中的案例进行改造，添加 L2 正则化方法再来看下结果。 添加代码，如下所示。 # 正

阅读完《TensorFlow 学习摘要（三） 深度学习 - Dropout 方法》文章后，我们现在可以对之前《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门02 - 欠拟合和过拟合》中的案例进行改造，添加 Dropout 方法再来看下结果。 添加代码，如下所

过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。这种现象的产生，一般是模型过于复杂，过分拟合数据的噪声。正则化则是对模型参数添加先验，使得模型复杂度较小，对于噪声输入扰动相对较小。 L2 正则化L2 正则化，会在代价函数后面再加上一个正则化项。 其中，C0代表原

这篇文章，我们来了解另外一个知识点：权值初始化。 0 值初始化在《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 - MNIST机器学习》一文中，我们采用的方式就是 0 值初始化。 W = tf.Variable(tf.zeros([784, 10]))

阅读完《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 - MNIST机器学习》与《TensorFlow 学习摘要（三） 深度学习 - 欠拟合和过拟合》两篇文章后，我们现在可以对之前《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 -

阅读完《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 - MNIST机器学习》，我们现在来了解一些核心概念与优化方案。这篇文章，我们接着来梳理下欠拟合和过拟合。 在这张图中，第一个情况，使用一条直线来作为模型，很明显无论如何调整起始点和斜率都不可能很好的

阅读完《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 - MNIST机器学习》，我们现在来了解一些核心概念与优化方案。这篇文章，我们先来梳理下训练集、测试集和验证集。 一般情况下，我们会将数据集分成：训练集(train set) 、验证集(validati

MNIST 是一个入门级的计算机视觉数据集，它包含各种手写数字图片： MNIST数据集MNIST 数据集的官网是 Yann LeCun’s website。在这里，官方提供了一份 python 源代码用于自动下载和安装这个数据集。 """Functions for downl

这个案例中，我们可以分成三个步骤。 定义神经网络的结构和前向传播的输出结果。 定义损失函数以及选择反向传播优化的算法。 生成会话，并且在训练数据上进行运行反向传播优化算法。 import tensorflow as tf import numpy as np import

梯度消失梯度消失，会导致前面的隐藏层学习正常，后面的隐藏层的权重基本上不进行更新，导致的是后面的隐藏层基本上学习不到东西。换句话说，在模型训练中，如果存在多个隐藏层，梯度的从第一个隐藏层传播到第二个隐藏层的时候，第二层学到的东西不够多，到了第三层，学习的效率就更低了。 事实上，每

梯度下降法的核心思路：在函数的曲线（曲面）上初始化一个点，然后让它沿着梯度下降的方向移动，直到移动到函数值极值的位置，这个位置视具体的问题而定，可能是极小值也可能是极大值。因为如果是凹函数那就是梯度上升的方向了。 梯度可以通过求偏导的方式计算，因为一个函数在某一点的导数描述了这

参数作为模型从历史训练数据中学到的一部分，是机器学习算法的关键。根据经典的机器学习文献，可以将模型看作假设，而参数是根据特定的数据集对假设进行的具体调整。简单来说，模型参数就是模型内部的配置变量，可以用数据估计它的值。 控制模型参数分布的参数，被称为超参数。事实上，模型超参数是模