GPU与CPU比较,GPU为什么更适合深度学习

CPU与GPU对比

CPU是一个有多种功能的优秀领导者。它的优点在于调度、管理、协调能力强,计算能力则位于其次。而GPU相当于一个接受CPU调度的“拥有大量计算能力”的员工。

下图是处理器内部结构图:

DRAM即动态随机存取存储器,是常见的系统内存。

Cache存储器:电脑中作高速缓冲存储器,是位于CPU和主存储器DRAM之间,规模较小,但速度很高的存储器。

算术逻辑单元ALU是能实现多组算术运算和逻辑运算的组合逻辑电路。

当需要对大数据bigdata做同样的事情时,GPU更合适,当需要对同一数据做很多事情时,CPU正好合适。

GPU能做什么?关于图形方面的以及大型矩阵运算,如机器学习算法等方面,GPU就能大显身手。

简而言之,CPU擅长统领全局等复杂操作,GPU擅长对大数据进行简单重复操作。CPU是从事复杂脑力劳动的教援,而GPU是进行大量并行计算的体力劳动者。

机器深度学习

深度学习是模拟人脑神经系统而建立的数学网络模型,这个模型的最大特点是,需要大数据来训练。因此,对电脑处理器的要求,就是需要大量的并行的重复计算,GPU正好有这个专长,时势造英雄,因此,GPU就出山担当重任了。

GPU具有如下特点:

1 、提供了多核并行计算的基础结构,且核心数非常多,可以支撑大量数据的并行计算。

并行计算或称平行计算是相对于串行计算来说的。它是一种一次可执行多个指令的算法,目的是提高计算速度,及通过扩大问题求解规模,解决大型而复杂的计算问题。

2、 拥有更高的访存速度。

3、更高的浮点运算能力。浮点运算能力是关系到处理器的多媒体、3D图形处理的一个重要指标。现在的计算机技术中,由于大量多媒体技术的应用,浮点数的计算大大增加了,比如3D图形的渲染等工作,因此浮点运算的能力是考察处理器计算能力的重要指标。

这三个特点,非常适合深度学习了。

怎样发挥GPU的大数据处理能力

GPU只是显卡上的一个核心元件,又不能单独工作,它还需要缓存来辅助工作。独立显卡是直接焊死了GPU在显卡电路板上,上面有一个散热风扇供它单独使用。集成显卡是把GPU与CPU放在一起,共用缓存来工作,并且公用一个散热风扇。

电脑处理一大块数据比处理一个一个数据更有效,执行指令开销也会大大降低,因为要处理大块数据,意味着需要更多的晶体管来并行工作,现在旗舰级显卡都是百亿以上的晶体管。

因此,要利用GPU做大数据处理工作,至少目前来说,还没有单独的GPU板卡可购。只能购买GPU性能优越的超级独立显卡,或集成集卡中GPU性能优秀的主板。