阅读完《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 - MNIST机器学习》与《TensorFlow 学习摘要（三） 深度学习 - 欠拟合和过拟合》两篇文章后，我们现在可以对之前《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 -

阅读完《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 - MNIST机器学习》，我们现在来了解一些核心概念与优化方案。这篇文章，我们接着来梳理下欠拟合和过拟合。 在这张图中，第一个情况，使用一条直线来作为模型，很明显无论如何调整起始点和斜率都不可能很好的

阅读完《TensorFlow 学习摘要（三） 深度学习 - 手写数字识别入门 - MNIST机器学习》，我们现在来了解一些核心概念与优化方案。这篇文章，我们先来梳理下训练集、测试集和验证集。 一般情况下，我们会将数据集分成：训练集(train set) 、验证集(validati

MNIST 是一个入门级的计算机视觉数据集，它包含各种手写数字图片： MNIST数据集MNIST 数据集的官网是 Yann LeCun’s website。在这里，官方提供了一份 python 源代码用于自动下载和安装这个数据集。 """Functions for downl

这个案例中，我们可以分成三个步骤。 定义神经网络的结构和前向传播的输出结果。 定义损失函数以及选择反向传播优化的算法。 生成会话，并且在训练数据上进行运行反向传播优化算法。 import tensorflow as tf import numpy as np import

梯度消失梯度消失，会导致前面的隐藏层学习正常，后面的隐藏层的权重基本上不进行更新，导致的是后面的隐藏层基本上学习不到东西。换句话说，在模型训练中，如果存在多个隐藏层，梯度的从第一个隐藏层传播到第二个隐藏层的时候，第二层学到的东西不够多，到了第三层，学习的效率就更低了。 事实上，每

梯度下降法的核心思路：在函数的曲线（曲面）上初始化一个点，然后让它沿着梯度下降的方向移动，直到移动到函数值极值的位置，这个位置视具体的问题而定，可能是极小值也可能是极大值。因为如果是凹函数那就是梯度上升的方向了。 梯度可以通过求偏导的方式计算，因为一个函数在某一点的导数描述了这

参数作为模型从历史训练数据中学到的一部分，是机器学习算法的关键。根据经典的机器学习文献，可以将模型看作假设，而参数是根据特定的数据集对假设进行的具体调整。简单来说，模型参数就是模型内部的配置变量，可以用数据估计它的值。 控制模型参数分布的参数，被称为超参数。事实上，模型超参数是模

神经网络，顾名思义，是由神经元所组织的网络。现在，我们来看下神经网络的结构。下面这张图，这是一个比较简单的神经网络结构。 这是一个 2 层神经网络。因为，一般情况下，输入层不算，隐藏层算 1 层，输出层算 1 层，一共 2 层。 在一个神经网络中通常会分这样几层：输入层、隐藏层

一般来说，损失函数，又称为代价函数，用来评价模型的预测值与真实值的不一致程度，它是一个非负实值函数。如果损失函数越小，模型的性能就越好。 神经网络解决的现实问题主要有两大类：分类问题与回归问题。 分类问题分类问题，指的是将不同的样本划分到已知的类别中，如经典的识别手写数字，就是

为什么使用激活函数为什么使用激活函数，激活函数有什么用呢？事实上，激活函数实现去线性化，给神经网络提供了非线性建模能力。换句话说，如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用激活函数的话，激活函数给神经元引入了非线性因

阅读完《TensorFlow 学习摘要（三） 深度学习 - TensorFlow 快速入门》，再补充几点 TensorFlow 的基本使用。 常量我们可以创建一个常量 op, 产生一个 1x1 矩阵。 m = tf.constant([[3.]]) 变量参见《TensorF

TensorFlow是什么Tensor（张量）意味着 N 维数组，Flow（流）意味着基于数据流图的计算，TensorFlow 即为张量从图的一端流动到另一端。 TensorFlow 计算模型TensorFlow 中的所有计算都会被转化为计算图上的节点，换句话说，使用 Tens

1981 年的诺贝尔医学奖，颁发给了 David Hubel 和 Torsten Wiesel，以及 Roger Sperry。前两位的主要贡献是，发现了人的视觉系统的信息处理是分级的。从视网膜出发，经过低级的 V1 区提取边缘特征，到 V2 区的基本形状或目标的局部，再到高层的

导数是微积分中的重要基础概念。导数的本质，是通过极限的概念对函数进行局部的线性逼近。当函数 y=f(x) 的自变量 x 在一点 x0 上产生一个增量 Δx 时，函数输出值的增量 Δy 与自变量增量 Δx 的比值在 Δx 趋于 0 时的极限 a 如果存在，a 即为在 x0 处的导数