本文来自微信公众号:编程技术宇宙 (ID:xuanyuancoding),作者:轩辕之风 O

大家好,我是 CPU 一号车间的那个阿 Q,好久不见,我想死你们了~

主板上的新邻居

“阿 Q,快别忙了,马上去一趟会议室,领导有重要事情开会”,一大早,咱们 CPU 厂里的总线主任就挨个到 8 个车间通知大家开会,神色有些凝重。

“什么事情,这么着急?”

“听说是主板上新来了一家单位,来抢咱们 CPU 工厂的饭碗了”,主任小声的说到。

“还有这种事情?”,我二话没说赶紧起身出门了。

来到会议室,没想到大家都已经到齐了,就差我了。

1667380448109-1.webp

见我到来,领导开始讲话:“诸位,想必大家可能都有所耳闻,就在昨天,在咱们 CPU 工厂的不远处,主板上新来了一家叫 GPU 的单位,公开抢我们饭碗,今天召集大家就是商讨应对之策”

“GPU,我知道,就是图形处理器,就是干图形计算的,怎么能抢我们的活呢?领导你多虑了吧”,我回头一看,原来是六号车间的代表小六在发言。

1667380448812-2.webp

“哦,看来你对他们很了解嘛?”,领导问小六。

小六有些不好意思的说到:“实不相瞒,在跳槽到这里来之前,我在另外一家 CPU 工厂上班,那里的主板上就有个 GPU。他们主要承接一些图形渲染相关的计算工作,不过他们都是执行一些固定的操作,计算电路都是固定的,根本都不具备可编程的能力,跟我们 CPU 那是没法比的”

1667380454394-1.webp

“小六,士别三日都当刮目相看,你有多久没见他们了?现在他们不仅和我们一样可以编程,据说团队规模扩张,现在已经是通用计算架构了,名字都要改了,叫什么 GPGPU,连计算速度都比我们快了!”,领导说的掷地有声,会场一下安静了下来。

“阿 Q、小六,你们两个想办法混进去他们工厂摸摸情况,汇报以后咱们再继续讨论,大家意下如何?”,领导望向大家。

我还没反应过来,大家都纷纷说好,看来这份差事我是躲不掉了。

潜入 GPU 内部

当天夜里,我与小六偷偷溜进了 GPU 工厂,没想到虽然夜已深,但里面还是灯火通明,一派繁忙的景象。

1667380456548-1.webp

等到进入了他们工作的地方,我和我的小伙伴都惊呆了!好家伙,这规模也太大了,放眼望去,全是一个个的工作车间,一眼望不到头。

1667380459309-1.webp

“Q 哥,他们这也太猛了,咱们 CPU 也就 8 核,才 8 个车间,他们这我目测不下 1000 个车间,难道他们有 1000 多个核,看得我眼睛都花了!”,小六满脸惊讶的说到。

“我看没那么简单,你仔细看他们的工作车间,比我们的可简陋多了”

“还真是,那些橙色的地方应该就是缓存吧,比我们可小多了。还有他们好像大部分都是计算电路,逻辑控制电路很少”

1667380460432-1.webp

“你们不去干活,躲在这干嘛?”,不好,我们被巡逻的给发现了!但好像他并没有认出我们的身份,把我们当成这里的员工了。

我俩尴尬的点头笑着说到:“休息休息,我们这就回去”

“你俩快去 1024 号车间,那里还缺人手”

“好嘞好嘞,这就去,这就去”

我堂堂 CPU 一号车间的指令执行长官阿 Q,居然在这里对这个小小巡逻点头哈腰的,想想都气!

GPU 的秘密

找了好久,我俩终于来到 1024 号车间,这里有一个小哥正忙的不可开交。见到我们到来,小哥高兴的说到:“你们可算是来了,我这都忙死了”

“今天都这么晚了,这是在忙着执行什么程序啊”,我试探性的问到。

“今天有点背,程序员下班前留了一个深度学习的神经网络训练任务给我们,今儿晚上大家肯定没法休息了,搞不好得通宵”,小哥一边忙着操作计算电路进行数据计算,一边对我们说到。

小六给我使了个眼神,然后对小哥说到:“你空了给我们介绍下工作吧,让我们也干点活”

“对,对,让我们也帮你分担点”,我跟着附和。

“你们先坐坐,这一轮训练马上就要结束了,趁着空当给你们介绍介绍。”,小哥说完擦了擦额头的汗。

趁着小哥在忙,我俩四处转了转,“小六啊,他们这车间比起咱们 CPU 确实显得寒酸了许多。我们每个车间可都是标配了一二级缓存的,少说也有几百 KB,他们可没有这个待遇。而且他们的计算资源电路也简单很多,像我们用于分支预测乱序执行的逻辑控制电路这里都没有”

1667380465064-1.webp

“Q 哥高手啊,这里这么多电路你都能认得出来?”

“俺在 CPU 厂里混了那么多年,这都认不出来那不白干了吗?”

“不对啊,按照你说的,他们这里的电路应该很少才对,可是你看怎么这么多”,小六的话引起了我的注意。

1667380466175-1.webp

再仔细一看,计算电路虽然没我们那么复杂,但计算单元 ALU 却有很多份!要知道在咱们 CPU 工厂,一个车间也只有一份。

正在纳闷之际,小哥忙完了手里的活,走了过来,“总算可以歇口气了”。

“大哥辛苦了,想问一下这里怎么这么多重复的计算电路啊?这不浪费吗?”,我赶紧上前问到。

小哥不以为然,“这可不是浪费,在咱们 GPU 工厂的车间里,每个车间都配置了很多个计算单元,我可以操作它们同时进行批量的数据计算,提升速度”

“批量计算?还能同时?”,小六问到。

“是啊,像我们 GPU 工厂承包的活基本都是这种类型,像 3D 图像渲染中每个像素的计算,深度学习中张量和矩阵的计算,它们有一个特点,都是算法固定,只是数据不一样而已。同样的计算逻辑,我喂给它们不同的数据就可以并行计算了!这个叫 SIMT(Single Instruction,Multiple Threads)技术”,小哥得意的说到。

1667380467458-1.webp

“SIMT?这技术怎么感觉那么眼熟呢?”,我问到。

小哥继续笑着说到:“那可不,这一招 CPU 他们早就用过了,我们这是借鉴”

“哦,我想起来了,Q 哥,他说的应该是 SIMD(Single Instruction Multiple Data,单指令多数据流),一条指令中可以批量操作多个数据,提升性能”

小六一下点醒了我,“原来如此!我们,哦不,是他们 CPU 只是批量操作数据,GPU 这里是批量执行计算,真是妙啊!”

“Q 哥,听起来不错啊,为什么咱们 CPU 不能这样搞呢?”,小六悄悄问我。

“你个笨蛋,咱们 CPU 内部有八个车间,每个车间同时执行一个线程不就是并行吗?只不过咱们执行的多个线程都是功能各异,有些是 IO 密集,有些是计算密集,既有缓存和逻辑控制电路的的建设成本,还要做到通用,没有办法像他们这样搞很多个出来。”

接下来,小哥带我们来到了操作平台,告诉我们如何操作这一堆电路执行计算工作,我自然是轻车熟路了,这比在我们那儿简单多了。

“那边是寄存器和保存执行上下文的地方,你们等会儿会用到。”,小哥指着一堆箱子说到。

“哎,老哥,这执行上下文怎么这么多,比计算单元 ALU 还多”,我问到。

小哥一拍脑袋说到:“嗨,瞧我这记性,忘记给你们说了。咱们 GPU 虽然以计算见长,但还是会遇到分支判断的场景,咱们这又没有 CPU 那样的分支预测乱序执行的能力,你们不知道内存那家伙可慢了,有时候难免会遇到停顿等待的情况,浪费计算资源。后来领导交代了,为了充分利用计算资源,不让 ALU 闲置着,遇到这种停顿的情况,就把计算资源 ALU 挪出来去执行别的计算代码。所以就需要多预留一些执行上下文来保存现场了。”

1667380468571-1.webp

“卧槽,这不就是超线程技术嘛!又抄袭我们 CPU”,我几乎突口而出,说完看了一眼小六。

“怎么能叫抄袭呢,借鉴,是借鉴哈”,小哥龇着牙笑着。

小六突然问了一句:“咱们 GPU 这么厉害,以后是不是都没他们 CPU 啥事儿啦?”

小哥摇了摇头:“这话说的有些吹牛皮了,我们连中断处理虚拟内存都没有,还需要借助 CPU 他们的帮忙才能工作呢,是不可能取代他们的。他们 CPU 太忙了,又要忙着计算,又要忙着执行 IO,处理中断,还有各种复杂逻辑的判断处理,我们就简单了,没有那么多顾虑,就是用人海战术,做纯粹的计算工作,人多力量大,又能并行,所以在数学计算方面我们要快得多。不过总体来说我们和 CPU 是合作关系,不是竞争关系!”

听到小哥这么一说,我俩悬着的心总算放了下来,这下回去可算是给领导有个交代了。

我正想的出神,小六从背后悄悄拍了拍我,使了个眼神。

顺着他示意的地方望去,只见刚才那个巡逻正带着几个保安朝我们这边走了过来。

来不及向小哥告别,我俩赶紧溜之大吉・・・

请登陆后查看
本内容须登陆后才可以看见(点我即可快速登录)