你好,TensorFlow

零基础创建和训练你的第一个 TensorFlow 图(Graph)

TensorFlow 之大远远超出你的认识。事实上它是一个针对深度学习的库,并藉由和谷歌的关系赢得了许多关注。但除去这些噱头,项目的如下特性(unique elements)值得深入玩味。

  • 核心库“不仅”适用深度学习,且面向绝大部分的机器学习技术。
  • 线性代数和其它内部构件(internals)(的功能)尤其突出(prominently exposed)。
  • 除了主要的机器学习功能以外,TensorFlow 还有自己的日志(logging)系统、可交互的日志可视化工具(interactive log visualizer),甚至有工程性非常强的(heavily engineered)服务架构(serving architecture)。
  • TensorFlow 的执行(execution)模型有别于 Python 的 scikit-learn,或是 R 语言中大部分的工具。

TensorFlow 里这些酷炫的玩意(Cool stuff)非常容易被那些渴望探索机器学习的初学者接受(take in)。

TensorFlow 的原理是什么?让我们深入剖析来查看和理解它的每个独立部分。我们会探索即将进行计算的数据的数据流(data flow graph),怎么通过 TensorFlow 使用梯度下降(gradient descent)来训练模型,以及怎样利用 TensorBoard 来可视化 TensorFlow 的工作。虽然这些例子解决不了工业级的机器学习问题,但是能够帮助你理解构建 TensorFlow 的每个组件(components ),包括下面的程序会使用到的!

Python 与 TensorFlow 中的命名(names)与执行

TensorFlow 的计算管理和 Python 完全不同。按照 Hadley Wickham 的说法,对于这两者都该牢记的是:一个对象(obejct)不会对应(have)一个命名(见图 1)。为了观察 Python 和 TensorFlow 的相似性(以及差异),让我们看看他们是如何引用(refer to)对象和处理执行的。

1

图 1 命名“对应”对象,反之却不然。图片由 Hadley Wickham 提供,已获授权。

Python 代码中的变量名并不是它们代表的那样;它们只是指向对象。因此,当你写出以下的代码:foo = []bar = foo,不仅说明 foobar 的值相等,并且强调了 foo 就是 bar。也就是说它们指向了相同的列表对象。

你也会发现 id(foo)id(bar) 是一样的。这种一致性(identity),一旦被错误使用(misunderstood),会产生一些意外的 bug,尤其对于列表这样的可变数据结构(mutable data structures)。

就内部而言,Python 管理所有的对象并且会保留所有变量名和引用对象的过程(track)。TensorFlow 图则代表了这种管理方式的另一个层次(layer);如同我们所见,Python 的命名会引用对象,使得有更多(granular)连接和管理 TensorFlow 的图的 ops(operations)。

当你在 Python 解释器(expression),诸如交互式编译器或者“读取-求值-输出循环(Read Evaluate Print Loop,缩写为 REPL)”,可以即时读取和输出。Python 会执行你的命令。所以如果当我输入 foo.append(bar),Python 会立刻添加,即使我再也不用到 foo

更懒的替代方法是我输入 foo.append(bar),如果我在以后再执行 foo,Python 会接着添加。这就非常接近 TensorFlow 的做法了,即定义关系完全和计算结果分离开来。

TensorFlow 分离了计算的定义和执行,甚至分开来进行这些操作:一个图定义了一个 ops,但只会在会话(session)中进行。图和会话都是独立创建的。图类似于施工图(blueprint),而会话更像施工地点。

回到纯 Python 的例子,回忆一下 foobar 会引用相同的列表。把 bar 添加进 foo,就如同把列表塞进它本身。你可以把这个结构看作是一个有节点(node)的图指向它本身。嵌套列表(Nesting lists)是代表图结构的一种方式,像 TensorFlow 的计算图。

真正的 TensorFlow 图比这更有意思!

最简单的 TensorFlow 图

让我们开始手把手从头创建最简单的 TensorFlow 图。和别的框架比,TensorFlow 非常容易安装。本文使用的例子可以在 Python 2.7 或者 3.3+ 中运行,TensorFlow 的版本则是 0.8。

到这一步 TensorFlow 已经为我们处理了许多声明(state)。已经存在一个隐藏的默认图,举个例子,就内部而言,它在 _default_graph_stack,但我们不能直接调用(access)它,需要通过 tf.get_default_graph() 函数。

TensorFlow 图的节点被成为“operations”或者简称为“ops”。在图的 graph.get_operations() 函数中可以了解 ops 是什么。

现在图还是空的。我们需要把让 TensorFlow 计算的数据塞进去。因此先输入一个简单的常量(constant) 1。

这个常量目前以一个节点的形式存在,也就是图里的一个 op(operation)。Python 的变量名 input_value 间接引用这个 op,但我们还是能在默认图中找到这个 op。

TensorFlow 内部使用了协议缓冲(Protocol buffers,类似于谷歌式(Google-strength)的 JSON)。打印上述常量 op 的 node_def 可以观察 TensorFlow 怎么用协议缓冲来表示常量 1。

刚开始接触 TensorFlow 的人有时候会想知道为什么对于“TensorFlow 的版本”问题会大惊小怪(fuss)。为什么不能使用原有的 Python 变量,而不去定义 TensorFlow 对象?TensorFlow 其中一个教程解释如下(译者注:为了避免重复劳动,以下引用翻译来自 TensorFlow 中文社区,特此致谢):

在Python中进行高效的数值计算,我们通常会使用像NumPy一类的库,将一些诸如矩阵乘法的耗时操作在Python环境的外部来计算,这些计算通常会通过其它语言并用更为高效的代码来实现。但遗憾的是,每一个操作切换回Python环境时仍需要不小的开销。如果你想在GPU或者分布式环境中计算时,这一开销更加可怖,这一开销主要可能是用来进行数据迁移。

TensorFlow也是在Python外部完成其主要工作,但是进行了改进以避免这种开销。其并没有采用在Python外部独立运行某个耗时操作的方式,而是先让我们描述一个交互操作图,然后完全将其运行在Python外部。这与Theano或Torch的做法类似。

TensorFlow 能干许多了不起的事情,但需要很明确给出要求,即便只是单个常量。

如果我们查看 input_value,会发现是一个维度为空的 32 位的浮点型张量(tensor):意味着只有一个数字。

值得注意的是,这个操作不会告诉我们这个数字什么。执行 input_value 并得到这个数字的值,我们需要创建一个会话使图的 ops 能够被执行而且明确要求“运行” input_value(会话默认会处理(picks up)默认图)。

对于“运行”一个常量可能会感到有些奇怪。但这和在 Python 中执行常见的表达一样;仅仅只是因为 TensorFlow 管理自身空间——计算图——以及有自己独特的方法执行。

最简单的 TensorFlow 神经元(neuron)

现在带有简单图的会话已经创建好了,让我们继续创建一个只有单个参数的神经元,或者说是权重(weight)。通常,即便再简单的神经元也会存在偏项(bias term)和非同一性激励函数(non-identity activation function),但我们省去这步。

神经元的权重不会是一个常量;我们希望它能够改变,因为需要从“真实”的输入和输出来进行训练。这个权重将会是 TensorFlow 的变量。我们把这个变量的初始值设为 0.8。

你也许以为添加 1 个变量也会在图中添加 1 个 op,但事实上是 4 个。我们来看看所有 ops 的命名:

我们并不想单独观察每个 op 太久,但至少观察一个来看看真实的运算。

现在图中有 6 个 ops,最后一个是乘法。

这说明了乘法 op 的输入来源:来自图中的其它 ops。要了解整个图,按这种方法很快会使人恹恹欲睡。所以 TensorBoard graph visualization 就应运而生了。

怎样查看生成了些什么呢?我们必须“运行” output_value op。但它取决于变量:weight。我们将初始的 weight 设为 0.8,但这个值在当前会话中还没有设置。tf.initialize_all_variables() 函数会生成一个可以初始化所有变量(虽然本例中只有一个变量)的 op,下面运行这个 op。

运行 tf.initialize_all_variables() 后会对目前存在于图中的所有变量进行初始化,所以如果添加更多变量后,会想再次使用 tf.initialize_all_variables();但原有的 init 不包括新的变量。

下面我们准备运行 output_value 的 op。

回想一下 0.8 * 1.0 进行 32 位的浮点型运算很难得到 0.8;0.80000001 是最接近的数。

在 TensorBoard 观察你的图

到目前为止,简单的图已经完成了,但通过图解(diagram)能观察会更棒。用 TensorBoard 就能生成这个图解。TensorBoard 读取命名字段(name field)并将每个 op 存储在内部(和 Python 的变量名比起来很不同)。我们可以使用这些 TensorFlow 命名并转换成更符合 Python 习惯的变量名。在这使用的 tf.mul 和前面用 * 一样都是乘法,但它可以设置 op 的命名。

TensorBoard 由 TensorFlow 会话创建的输出目录进行观察。我们可以用 SummaryWriter 写入这个输出,如果创建图的时候我们不做任何操作,它只会写入这个图。

当我们创建 SummaryWriter 时,第一个参数是输出目录的名称,如果不存在会自动创建。

我们现在可以在命令行启动 TensorBoard了。

TensorBoard 会运行一个本地的 web 应用,在 6006 端口(“6006”是“goog”的翻转)。如果你浏览 localhost:6006/#graphs,你可以看到你在 TensorFlow 图的图解,就像图 2 所示。

2

图2:最小 TensorFlow 神经元的 TensorBoard 可视化

让神经元学习

我们已经创建了神经元,但怎么让它学习呢?我们将输入值设置为 1.0,正确的输出值设置为 0。现在我们有一个非常简单的“训练集”,只有一个值为 1 的特征(feature)和值为 0 的标签(label)。我们希望这个神经元能够学会从 1 变为 0。

现在向程序输入 1,返回 0.8 的结果是不正确的。我们需要一种方式来描述系统误差。所以我们用“损失(loss)”来描述系统误差,我们的目标就是尽可能减少系统误差。当然,如果误差为负,就不是越小越好了。因此我们用实际输出(current output)和期望输出(desired output)的平方差来定义误差的值。

目前,图里还没有东西进行学习。因此我们需要一个优化器(optimizer)。我们将使用梯度下降优化器使我们能够按照误差的导数(derivative)来更新权重。这个优化器通过学习率(learning rate)来调节(moderate)更新的大小,我们设置为 0.025。

这个优化器聪明极了。通过整个网络,它可以自动计算和使用合适的梯度,完成后面的步骤来进行学习。

让我们来看看本例中的梯度长什么样:

为什么梯度的值是 1.6?我们的误差是错误值(error)的平方,而导数则是错误值的两倍。现在程序的输出是 0.8,还不是 0,所以错误值就是 0.8,0.8 的两倍正好是 1.6。成功了!

对于更复杂的系统,TensorFlow 自动计算和应用这些梯度会更方便。

让我们使用梯度,完成反向传播(backpropagation)。

因为权重等于优化器减去梯度乘以学习率,即减去 1.6 * 0.025,因此减少 0.04 是正确的。

为了取代上面的手动(hand-holding)优化器,我们可以用:train_step op 来计算和应用梯度。

多次迭代训练步骤后,权重和输出的值已经非常接近 0。神经元已经具有学习能力了!

用 TensorBoard 展示训练过程

我们也许对训练的时候发生了什么感兴趣。也就是我们想知道程序在训练过程中做了些什么。因此可以输出每个迭代的循环。

虽然奏效了,但是有点小瑕疵。就是这一串的数字理解起来很困难。如果能画出来会更好。即使只有一个值需要观察,输出也会非常多导致看不过来。我们更倾向于观察到更多的东西。如果能有组织地记录下所有东西会更好。

还好,我们前面使用的可视化和我们现在所期望的效果是一样的机制(mechanisms)。

我们通过添加一个对状态进行摘要的 ops 来描述(instrument)计算图。在此,我们将创建一个 op 来反映(reports)目前 y 的值,也就是神经元的实际输出。

当你运行这个具有摘要功能的 op,会返回缓冲协议文本的字符串,利用 SummaryWriter 可以被写入日志目录。

运行 tensorboard --logdir=log_simple_stats,在 localhost:6006/#events(图 3)可以看到交互的绘图。

3

图 3:训练迭代数字与神经元输出在 TensorBoard 下的可视化

继续前进(Flowing onward)

下面是最终版的代码。实在是很短,每个部分都能看出 TensorFlow 的有效和易懂。

我们这次运行的示例甚至比在 Michael Nielsen 的 Neural Networks and Deep Learning 中受到启发的例子还要简单。就我个人而言,像这样从细节入手有助于理解和构建更复杂的系统,因为它们都是从简单的建筑模块延生来的。TensorFlow 其中一个优美之处就在于非常灵活,你可以通过简单的组件构建出更复杂的系统。

如果你想继续实践 TensorFlow,创建更有趣的神经元,也许激励函数(activation functions)还不一样,但这一定很有意思。你可以用更多有趣的数据来训练;添加更多的神经元;添加更多的层;你也可以深入更复杂的预建模型(pre-built models);或者花更多时间在 TensorFlow 的官方教程文档(how-to guides)。加油吧!

致谢

感谢 Paco Nathan, Ben Lorica, 和 Marie Beaugureau 让本文成真了。感谢 Deep Learning Analytics 的 Henry Chen, Dennis Leung, 和 Paul Gulley,并感谢 DC Machine Learning Journal Club 对早期版本提供了有价值的反馈。再一次感谢 Marie Beaugureau 和 Jenn Webb,大幅提升了最终版的水准。

作者介绍

Aaron Schumacher 是 Deep Learning Analytics 的数据科学家以及软件工程师。他在 General Assembly 和 Metis 数据科学训练营地(bootcamp)营地教授过 Python 和 R。Aaron 曾在 Booz Allen Hamilton,纽约大学和 New York City Department of Education 从事过数据方面的工作。Aaron 霹雳舞最好的赛绩是进入到了 R16 Korea 2009 individual footwork battle 的半决赛。他为能在 TensorFlow 0.9 中略尽绵力而感到骄傲。

打赏支持我翻译更多好文章,谢谢!

打赏译者

打赏支持我翻译更多好文章,谢谢!

任选一种支付方式

4 14 收藏 1 评论

关于作者:Ree Ray

学习Python 个人主页 · 我的文章 · 22

相关文章

可能感兴趣的话题



直接登录
最新评论
跳到底部
返回顶部