Caffe2 - 创建您自己的网络
在本课程中,您将学习在 Caffe2 中定义单层神经网络 (NN)并在随机生成的数据集上运行它。我们将编写代码以图形方式描述网络架构、打印输入、输出、权重和偏差值。要理解本课程,您必须熟悉神经网络架构、其术语以及其中使用的数学。
网络架构
让我们考虑一下我们想要构建一个单层神经网络,如下图所示 -
从数学上讲,该网络由以下 Python 代码表示 -
Y = X * W^T + b
其中X、W、b是张量,Y是输出。我们将用一些随机数据填充所有三个张量,运行网络并检查Y输出。为了定义网络和张量,Caffe2 提供了几个Operator函数。
Caffe2 运算符
在Caffe2中,Operator是基本的计算单元。Caffe2 Operator表示如下。
Caffe2 提供了详尽的运算符列表。对于我们当前正在设计的网络,我们将使用称为 FC 的运算符,该运算符计算将输入向量 X 传递到具有二维权重矩阵W和一维偏置向量b的全连接网络的结果。换句话说,它计算以下数学方程
Y = X * W^T + b
其中X的尺寸为(M xk),W的尺寸为(nxk),b为(1 xn)。输出Y 的尺寸为(M xn),其中M是批量大小。
对于向量X和W,我们将使用GaussianFill运算符创建一些随机数据。为了生成偏差值b,我们将使用ConstantFill运算符。
我们现在将继续定义我们的网络。
创建网络
首先,导入所需的包 -
from caffe2.python import core, workspace
接下来,通过调用core.Net定义网络,如下所示 -
net = core.Net("SingleLayerFC")
网络的名称指定为SingleLayerFC。至此,名为net的网络对象就创建完成了。到目前为止它不包含任何层。
创建张量
我们现在将创建网络所需的三个向量。首先,我们将通过调用GaussianFill运算符来创建 X 张量,如下所示 -
X = net.GaussianFill([], ["X"], mean=0.0, std=1.0, shape=[2, 3], run_once=0)
X向量的尺寸为2 x 3,平均数据值为 0,0 ,标准差为1.0。
同样,我们创建W张量如下 -
W = net.GaussianFill([], ["W"], mean=0.0, std=1.0, shape=[5, 3], run_once=0)
W向量的大小为5 x 3。
最后,我们创建大小为 5 的偏置b矩阵。
b = net.ConstantFill([], ["b"], shape=[5,], value=1.0, run_once=0)
现在,代码中最重要的部分来了,那就是定义网络本身。
定义网络
我们在以下 Python 语句中定义网络 -
Y = X.FC([W, b], ["Y"])
我们将输入数据X称为FC运算符。权重在W中指定,偏差在 b 中指定。输出是Y。或者,您可以使用以下更详细的 Python 语句创建网络。
Y = net.FC([X, W, b], ["Y"])
至此,网络就简单创建了。在我们至少运行一次网络之前,它不会包含任何数据。在运行网络之前,我们将检查其架构。
打印网络架构
Caffe2 在 JSON 文件中定义了网络架构,可以通过在创建的网络对象上调用 Proto 方法来检查该架构。
print (net.Proto())
这会产生以下输出 -
name: "SingleLayerFC" op { output: "X" name: "" type: "GaussianFill" arg { name: "mean" f: 0.0 } arg { name: "std" f: 1.0 } arg { name: "shape" ints: 2 ints: 3 } arg { name: "run_once" i: 0 } } op { output: "W" name: "" type: "GaussianFill" arg { name: "mean" f: 0.0 } arg { name: "std" f: 1.0 } arg { name: "shape" ints: 5 ints: 3 } arg { name: "run_once" i: 0 } } op { output: "b" name: "" type: "ConstantFill" arg { name: "shape" ints: 5 } arg { name: "value" f: 1.0 } arg { name: "run_once" i: 0 } } op { input: "X" input: "W" input: "b" output: "Y" name: "" type: "FC" }
正如您在上面的清单中看到的,它首先定义了运算符X、W和b。让我们以W的定义为例。W的类型指定为GausianFill。平均值定义为 float 0.0,标准差定义为 float 1.0 ,形状为5 x 3。
op { output: "W" name: "" type: "GaussianFill" arg { name: "mean" f: 0.0 } arg { name: "std" f: 1.0 } arg { name: "shape" ints: 5 ints: 3 } ... }
检查X和b的定义以了解您自己的理解。最后,让我们看看我们的单层网络的定义,它被复制在这里
op { input: "X" input: "W" input: "b" output: "Y" name: "" type: "FC" }
这里,网络类型为FC(全连接),X、W、b作为输入,Y为输出。这个网络定义过于冗长,对于大型网络来说,检查其内容将变得乏味。幸运的是,Caffe2 为所创建的网络提供了图形表示。
网络图形表示
要获取网络的图形表示,请运行以下代码片段,该代码片段本质上只有两行 Python 代码。
from caffe2.python import net_drawer from IPython import display graph = net_drawer.GetPydotGraph(net, rankdir="LR") display.Image(graph.create_png(), width=800)
当您运行代码时,您将看到以下输出 -
对于大型网络,图形表示在可视化和调试网络定义错误方面变得非常有用。
最后,现在是运行网络的时候了。
跑步网络
您可以通过在工作区对象上调用RunNetOnce方法来运行网络-
workspace.RunNetOnce(net)
网络运行一次后,将创建所有随机生成的数据,将其输入网络并创建输出。运行网络后创建的张量在 Caffe2 中称为blob。工作区由您创建并存储在内存中的blob组成。这与Matlab 非常相似。
运行网络后,您可以使用以下打印命令检查工作区包含的blob
print("Blobs in the workspace: {}".format(workspace.Blobs()))
您将看到以下输出 -
Blobs in the workspace: ['W', 'X', 'Y', 'b']
请注意,工作区由三个输入 blob 组成 - X、W和b。它还包含名为Y的输出 blob 。现在让我们检查这些 blob 的内容。
for name in workspace.Blobs(): print("{}:\n{}".format(name, workspace.FetchBlob(name)))
您将看到以下输出 -
W: [[ 1.0426593 0.15479846 0.25635982] [-2.2461145 1.4581774 0.16827184] [-0.12009818 0.30771437 0.00791338] [ 1.2274994 -0.903331 -0.68799865] [ 0.30834186 -0.53060573 0.88776857]] X: [[ 1.6588869e+00 1.5279824e+00 1.1889904e+00] [ 6.7048723e-01 -9.7490678e-04 2.5114202e-01]] Y: [[ 3.2709925 -0.297907 1.2803618 0.837985 1.7562964] [ 1.7633215 -0.4651525 0.9211631 1.6511179 1.4302125]] b: [1. 1. 1. 1. 1.]
请注意,您计算机上的数据或事实上网络每次运行的数据都会不同,因为所有输入都是随机创建的。您现在已成功定义网络并在计算机上运行它。