Caffe2核心代码解析系列之一:综述

介绍

笔者当下恰有工作需要对caffe2底层实现有较好的认识。打算趁这个工作机会学习下caffe2框架底层的具体设计及实现,同时写一个系列的相关学习笔记文章集出来,希望能对想深入了解深度学习框架实现的朋友有些启发。

当下最为火热、流行的深度学习框架非Google领导的Tensorflow莫属。其次则为分别由Facebook及Amazon力推的Pytorch(caffe2为其一个后端)与Mxnet。这些框架本身很多设计思路及具体实现都是类似的,因此学其一可知其它。在这当中显然caffe2的整个代码结构要相当简单些,所以比较适合入门学习。

Caffe是另一个较为经典的深度学习框架。由于其良好的性能,至今仍有国内的很多公司选择caffe(或自己深度定制过的caffe)为自己的深度学习软件框架。而caffe2与caffe的设计者是同一个人(现在Facebook的Jiang, Yangqing),很多caffe2中的理念及术语更是直接源自于caffe,因此对于有过caffe相当知识的朋友,caffe2学习起来相对也较为简单。



Caffe2_Logo

caffe2核心代码组成

Caffe2框架是一个静态的图框架。同大多静态图框架一样,它的应用程序一般会干两件事情,先是建立模型(即建图,主要使用python等较友好的语言脚本或像caffe那样直接使用prototxt文件),然后则是迭代执行模型。业务层面而言,它需要能够方便解决两个深度学习的任务及训练与推理。

Net

为了建立图,显然需要有图的概念,caffe2中的图即是Net。Net表示的是一系列计算执行操作的集合。

Operator

Net之中那些具体的执行操作被称为是operator(简称Op)。

Blob

operator之间通过相互依赖的输入、输出发生关联关系。而这些operator的输入、输出则被称为Blob。Blob是深度学习模型当中数据元素的抽象,它可以指的是具体的输入、输出数据,也可以指的是operator计算当中用当到的可训练参数等。

Tensor

显然反映high level数据抽象的Blob都应有相应的底层内存单元在背后。而Tensor则ghd 是这些底层内存单元的进一步封装。每个tensor都可以直接访问对应的内存单元地址,它之上的数据元素类型,它的大小,内存初始化及析构函数等则被封装到另外一个单元当中。这个单元即为TypeMeta,它具体反映tensor里面的数据元素的类型及相应的底层实现所需细节。

Context

Tensor与Operator分别对应相应的内存单元抽象及计算单元抽象。众所周知,当下可用于深度学习任务的计算单元有许多像CPU/GPU/FPGA/ASIC芯片等。它们在执行具体的计算任务时,分别有着不同的实现(分别包装着其各自特定的计算指令集及内存分配与读写单元)。caffe2中将各类不同的device封装为一个个不同的context对象。然后Tensor/Operator则以模板的形式分别在实例化时支持不同的底层计算设备context。

Registry

像Windows中使用注册表来管理其系统上的配置等信息一样,caffe2中也使用了全局Registry的方式对各种不同类型Op/OpSchema/Net等具体实现都进行了注册。这样当具体某个operator运行时,都会去全局Registry table里面查找此operator在相应设备上对应的注册实现并调用执行。一旦它发现此种类型实现不存在,那么就会报错退出。Net的不同类型执行也与此机理大致相似。

Workspace

当我们具体执行某个深度学习模型训练或推理任务时,需要考虑对全局所用到的变量及计算单元命名空间进行管理。它应当作为深度学习任务的发起者及终结者(当然还是收拾者)。这么一个角色在Tensorflow里面是Session,而caffe2中则是Workspace。它包含了一切运行时创建的对象,包括所有的Blob,以及Net等。

Python绑定

Caffe2中上当只支持C++与Python两种语言。在它的哲学当中,一切计算复杂的单元都应由C++实现的函数中来完成,而Python只是因其用户友好性被用来进行建图,规划整个图执行,并不真正参与核心的计算。这一点保证了它的高效率,但同时也意味着它对其它语言的支持不够好,同时也无法很灵活地添加一些由Python等高级语言写就的Operators。

一般由Python脚本所描绘的图会会序列化为protobuf文件,然后传入C++端,开始执行网络的计算过程。

在使用Python构建一个完整的用来作training工作的图时,只需要显示写出做前向计算的系列operators,然后通过使用AddGradientOperators方法(以最终的loss作为其输入参数)可自动完成反向梯度计算的operators的添加。

总之Caffe2中的一切真正计算像先向/反向计算/Checkpoints保存/参数更新乃至参数初始化等等无一例外均是通过某一实现好的C++ operator函数来执行。

参考文献

发布于 2018-12-08

文章被以下专栏收录