分享热点新闻
打造优质自媒体!

培训利用率超过80%: IBM推“世界第一”节能AI芯片 7nm工艺

2月18日,据报道,目前在顶会举行的集成电路设计领域的国际固态电路会议(ISSCC 2021)正在进行中(2021年2月13日至22日)。ISSCC 2021作为一个有着近70年历史的集成电路行业和学术界的盛会,也被许多厂商视为发布其领先芯片技术的权威舞台。

在这届会议上,IBM发布了“世界第一”的节能AI芯片,采用7nm工艺技术,可以达到80%以上的训练利用率和60%以上的推理利用率,而一般情况下GPU利用率在30%以下。

培训利用率超过80%: IBM推“世界第一”节能AI芯片 7nm工艺 科学快报 第1张

性能参数方面,IBM新产品的计算密度高于同样采用7nm工艺的NVIDIA A100 GPU其在各种精度下的整数运算性能也优于联发科7纳米AI芯片等产品。

据IBM官网介绍,其新推出的7nm节能AI芯片在各种场景下都有很好的应用前景,比如混合云环境下的低能耗AI训练,或者更接近边缘的云训练。

一、IBM新的节能AI芯片:能效比高于NVIDIA A100

对比结果表明,IBM新推出的7纳米高效AI芯片的性能和能效,不同程度地超过了IBM之前的14纳米芯片、科学院(KAIST)的65纳米芯片、芯片公司平头阁的12纳米芯片、发光800、NVIDIA的7纳米芯片A100和的7纳米芯片。

IBM新推出的7nm高效AI芯片支持fp8、fp16、fp32、int4、int2混合精度。

在fp32和fp8精度下,IBM新型节能AI芯片每秒浮点运算量分别达到16次和25.6次;算术密度分别是0.82TFLOPS/mm^2 2和1.31TFLOPS/mm^2 2。能效比分别为3.5次/瓦和1.9次/瓦。

在int2和int4的精度下,IBM新型高效AI芯片的计算密度分别为3.27TOPS/mm^2 2和5.22tops/mm^2 2;能效比率分别为16.5和8.9。

相比之下,IBM之前推出的14nm芯片在fp32和fp8精度下每秒的浮点运算次数分别为2TFLOPS和3TFLOPSfp32精度下的能效比为1.4次/瓦.

另外,在7nm芯片阵营中,NVIDIA A100 GPU在fp16精度下的能效比是0.78 flops/W,在int4精度下的能效比是3.12TOPS/W,都低于IBM新推出的节能AI芯片。

培训利用率超过80%: IBM推“世界第一”节能AI芯片 7nm工艺 科学快报 第2张

IBM新型节能AI芯片与同类产品性能参数对比

第二,采用IBM自主开发的超低精度训练/推理设计

IBM官网文章写道,其新AI芯片能够平衡能效和性能,因为它支持超低精度混合8位浮点格式(hfp 8,混合FP8)。这是IBM 2019年发布的高度优化设计,允许AI芯片以较低的精度完成不同AI模型的训练任务和推理任务,同时避免任何质量损失。

据悉,IBM目前使用超低精度混合8位浮点格式进行训练,超低精度混合4位浮点格式进行推理,开发数据通信协议,提高多核AI芯片上不同内核间的数据交换效率。

据IBM官网文章称,自2015年以来,公司每年将芯片的功耗性能提高2.5倍。这背后,IBM致力于算法、架构、软件栈等方面的创新。

培训利用率超过80%: IBM推“世界第一”节能AI芯片 7nm工艺 科学快报 第3张

IBM在低精度AI训练和推理方面的研究历史

除了使用超低精度混合8位浮点格式,IBM新的高效AI芯片增加了电源管理功能。IBM研究表明,在相同功耗条件下,通过减缓计算阶段的功耗,可以最大限度地提高芯片性能。

结论:人工智能的发展对芯片能耗提出了更高的要求

随着智能浪潮席卷各个领域,人工智能模型的复杂性日益增加。相应的,AI应用的能耗水平也在上升。在这种背景下,如何最大化能效成为AI芯片设计者的重要命题。

IBM通过采用超低精度混合8位浮点格式和内置电源管理功能,为其新的AI芯片实现了业界领先的能效。然而,这种芯片尚未大规模生产,也尚未经过市场测试。