文章目录

  1. 1. MNIST数据集
  2. 2. 权重值和偏置量
  3. 3. Softmax 回归介绍
  4. 4. 训练模型
  5. 5. 评估我们的模型
  6. 6. 完整的案例
  7. 7. 参考资料

MNIST 是一个入门级的计算机视觉数据集,它包含各种手写数字图片:

MNIST数据集

MNIST 数据集的官网是 Yann LeCun’s website。在这里,官方提供了一份 python 源代码用于自动下载和安装这个数据集。

"""Functions for downloading and reading MNIST data."""
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import gzip
import os
import tempfile

import numpy
from six.moves import urllib
from six.moves import xrange  # pylint: disable=redefined-builtin
import tensorflow as tf
from tensorflow.contrib.learn.python.learn.datasets.mnist import read_data_sets

你可以下载这份代码,重命名input_data.py。然后,用下面的代码导入到你的项目里面。

import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

下载下来的数据集,如下所示。

Training set images: train-images-idx3-ubyte.gz (9.9 MB, 解压后 47 MB, 包含 60,000 个样本)
Training set labels: train-labels-idx1-ubyte.gz (29 KB, 解压后 60 KB, 包含 60,000 个标签)
Test set images: t10k-images-idx3-ubyte.gz (1.6 MB, 解压后 7.8 MB, 包含 10,000 个样本)
Test set labels: t10k-labels-idx1-ubyte.gz (5KB, 解压后 10 KB, 包含 10,000 个标签)

注意的是,MNIST_data路径可以自己设定。此外,input_data.py文件需要放在该工程的相同路径才可以加载的到。

主要分成两部分:训练数据集测试数据集。这样的切分很重要,在机器学习模型设计时必须有一个单独的测试数据集不用于训练而是用来评估这个模型的性能,从而更加容易把设计的模型推广到其他数据集上。

每一张图片包含 28 X 28 像素。我们可以用一个数字数组来表示这张图片:

我们把这个数组展开成一个向量,长度是 28x28 = 784。因此,MNIST 数据集的图片就是在 784 维向量空间里面的点。在 MNIST 训练数据集中,第一个维度数字用来索引图片,第二个维度数字用来索引每张图片中的像素点。因此,它是一个形状为 [60000, 784] 的张量。

相对应的 MNIST 数据集的标签是介于 0 到 9 的数字,用来描述给定图片里表示的数字。这里,标签数据是”one-hot vectors”。 一个 one-hot 向量除了某一位的数字是 1 以外其余各维度数字都是 0。比如,标签 0 将表示成([1,0,0,0,0,0,0,0,0,0,0])。

权重值和偏置量

我们的模型需要权重值和偏置量。

W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))

对于各种机器学习应用,一般都会有模型参数,可以用 Variable 表示。在这里,我们都用全为零的张量来初始化 W 和 b。因为我们要学习 W 和 b 的值,它们的初值可以随意设置。

此外,x 不是一个特定的值,而是一个占位符 placeholder,我们在 TensorFlow 运行计算时输入这个值。我们希望能够输入任意数量的 MNIST 图像,每一张图展平成 784 维的向量。我们用 2 维的浮点数张量来表示这些图,这个张量的形状是[None,784 ]。(这里的 None 表示此张量的第一个维度可以是任何长度的。)

x = tf.placeholder("float", [None, 784])

Softmax 回归介绍

我们希望得到给定图片代表每个数字的概率。这时,我们可以使用 softmax 回归。softmax 回归用来给不同的对象分配概率。

y = tf.nn.softmax(tf.matmul(x,W) + b)

首先,我们用 tf.matmul(??X,W) 表示 x 乘以 W,然后再加上 b,把和输入到 tf.nn.softmax 函数里面。

训练模型

为了训练我们的模型,我们首先需要定义一个指标来评估这个模型是好的。其实,在机器学习,我们通常定义指标来表示一个模型是坏的,这个指标称为损失。

针对概率,一般是用交叉熵来作损失函数,交叉熵描述了两个概率分布之间的距离,当交叉熵越小说明二者之间越接近。

y_ = tf.placeholder("float", [None,10])
cross_entropy = -tf.reduce_sum(y_*tf.log(y))

首先,用 tf.log 计算 y 的每个元素的对数。接下来,我们把 y 的每一个元素和 tf.log(y) 的对应元素相乘。最后,用 tf.reduce_sum 计算张量的所有元素的总和。

TensorFlow 会用你选择的优化算法来不断地修改变量以降低成本。在这里,我们用梯度下降算法以 0.01 的学习速率最小化交叉熵。当运行这个操作时,它用梯度下降算法训练你的模型,微调你的变量,不断减少成本。

train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

现在,我们已经设置好了我们的模型。在运行计算之前,我们需要添加一个操作来初始化我们创建的变量:

init = tf.initialize_all_variables()

我们可以在一个 Session 里面启动我们的模型,并且初始化变量。

with tf.Session() as sess:
    sess.run(init)

然后,开始训练模型,这里我们让模型循环训练 1000 次。这里,事实上我们使用随机梯度下降训练。我们会随机抓取训练数据中的 100 个批处理数据点,使用这一小部分的随机数据来进行训练。

for i in range(1000):
  batch_xs, batch_ys = mnist.train.next_batch(100)
  sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

评估我们的模型

首先,让我们找出那些预测正确的标签。

tf.argmax 是一个非常有用的函数,它能给出某个 tensor 对象在某一维上的其数据最大值所在的索引值。由于标签向量是由 0,1 组成,因此最大值 1 所在的索引位置就是类别标签,比如 tf.argmax(y,1) 返回的是模型对于任一输入 x 预测到的标签值,而 tf.argmax(y_,1) 代表正确的标签,我们可以用 tf.equal 来检测我们的预测是否真实标签匹配(索引位置一样表示匹配)。

correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))

这行代码会给我们一组布尔值。为了确定正确预测项的比例,我们可以把布尔值转换成浮点数,然后取平均值。例如,[True, False, True, True] 会变成 [1,0,1,1] ,取平均值后得到 0.75。

accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

最后,我们计算所学习到的模型在测试数据集上面的正确率。

print sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels})

这个最终结果值应该大约是 91 %。

事实上,这个结果是很差的。后面,我们会进行调整模型提高准确率。

完整的案例

import tensorflow as tf

# 导入 input_data 用于自动下载和安装MNIST数据集
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

# 放置占位符,用于在计算时接收输入值
x = tf.placeholder("float", [None, 784])
# 为了进行训练,需要把正确值一并传入网络
y_ = tf.placeholder("float", [None,10])

# 创建两个变量,分别用来存放权重值W和偏置值b
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))

# 使用softmax回归模型,y代表输出
y = tf.nn.softmax(tf.matmul(x, W) + b)

# 计算交叉墒
loss = -tf.reduce_sum(y_ * tf.log(y))

# 使用梯度下降算法以0.01的学习率最小化交叉墒
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)

# 初始化之前创建的变量的操作
init = tf.initialize_all_variables()

#启动初始化
with tf.Session() as sess:
    sess.run(init)

    # 开始训练模型,循环1000次
    for i in range(1000):
        batch_xs, batch_ys = mnist.train.next_batch(100)
        sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

    # 评估模型
    correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))

    # 计算正确预测项的比例
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

    # 在session中启动accuracy,输入是MNIST中的测试集
    print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

参考资料

(完)

微信公众号

文章目录

  1. 1. MNIST数据集
  2. 2. 权重值和偏置量
  3. 3. Softmax 回归介绍
  4. 4. 训练模型
  5. 5. 评估我们的模型
  6. 6. 完整的案例
  7. 7. 参考资料