分享热点新闻
打造优质自媒体!

飞桨框架2.0是行业中第一个实现35%成本降低的“通用异构参数服务器”

日前,美媒体《华尔街日报》报道称,美羡慕中国的基础设施,并希望通过加强基础设施来巩固美的经济增长。其实“基础设施”建设,除了短期刺激增长和就业外,更重要的是“大力支持各领域共同繁荣”。在我国“十四五”计划中,“科技创新”成为重点,科技基础设施建设得到加强,以更高的效率和质量实现各领域的共同进步。中国新技术基础设施再次领先。

  宜早不宜迟的“科技新基建”

人工智能是新技术基础设施的核心之一,深度学习是人工智能的先驱。自2012年以来,深度学习取得了突破性进展,许多深度学习框架应运而生,成为研究人员和行业工作者的新宠。再热的深度学习研发,也要转化为生产力和商业价值,最终落地行业,宜早不宜迟。

实践找出差距。“做不到”和“用不到”的区别是“0到1”的决定性距离。从早期的学术框架Caffe和antano,到有行业背景的大规模框架Pytorch和TensorFlow,再到中国飞桨最早的开源PaddlePaddle,新的AI基础设施不是一蹴而就的,需要长期持续的投入和行业实践才能沉淀。

飞桨框架2.0是行业中第一个实现35%成本降低的“通用异构参数服务器” 科学快报 第1张

2016年,百度PaddlePaddle启动了国内深度学习框架开放的第一枪,成为国内第一个自主开发的行业级深度学习平台。2019年4月,在Wave Summit Deep Learning developer Summit上,PaddlePaddle发布了中文的名字“飞桨”,并开始强调自己更适合中国开发者,更专注于深度学习模式的产业实践。2020年5月,飞桨,作为百度大脑“AI制作平台”的基础基地,搭建了“飞桨开源深度学习平台”和“飞桨企业版”,更准确地服务于各种AI模型的开发、培训和部署。

其中,飞桨开源深度学习平台已经覆盖了核心框架、基础模型库、端到端开发工具包和工具组件,为工业、学术和科研创新提供了基础基础。飞桨企业版包括零门槛AI开发平台EasyDL和全功能AI开发平台BML,满足企业对快速智能化的需求。飞桨整个平台的功能和开发流程成熟完善,技术迭代完全从用户角度定义。今年3月,飞桨的核心框架正式升级到2.0版。飞桨生态聚集了超过265万的开发者,服务了超过10万个企业,创造了超过34万个模型。

权威数据研究机构IDC发布了2020年下半年深度学习框架平台市场份额报告。数据显示,谷歌、百度和脸书位列前三,占据70%以上的市场份额。其中,百度份额增长3.38%,整体市场份额排名第二。

飞桨框架2.0是行业中第一个实现35%成本降低的“通用异构参数服务器” 科学快报 第2张

  高性能+高效率=万物皆智能、一切可编程

人类对工具的使用可以追溯到史前文明。工具的意义在于辅助劳动,省时省力,这也是飞桨作为工具存在的意义。可以被广大开发者使用的工具也是很好的工具。我们必须知道,在这个时代,对许多人来说,抓住时间意味着抓住市场、优势和竞争力。以飞桨发布的最新官方版本的Framework 2.0为例,更加便捷、高效、通用的AI开发和培训部署,方便各领域企业用AI技术打造自己的智能领先优势。

飞桨框架2.0是行业中第一个实现35%成本降低的“通用异构参数服务器” 科学快报 第3张

具体来说,首先,此次升级后,飞桨框架2.0可以支持用户使用动态图完成深度学习相关领域的各种模型算法的开发,这表明飞桨的动态图功能已经成熟并完成。不仅方便开发者随时查看变量输入输出的动态情况,也有助于调试程序方便,减少手感和玄学之间的“盲音”。同时,飞桨框架2.0还统一了模型存储和加载的接口,保证了“动到静态”后保存的模型文件可以被纯动态图加载使用。就像静态图像和动态视频一样,一键“高质量”就可以相互转换,实际上方便了用户操作。此外,官方支持的动态图算法数量达到270个,覆盖计算机视觉、自然语言处理、语音、推荐等领域,动态图的训练效率和部署效率得到提高。

人工智能的价值在于通过软件编程实现虚拟化、灵活性、多样性和定制化,最终为各个行业和人群提供特殊的智能化和定制化服务。软硬件深度集成的核心是API。在AI时代,API以上的都可以编程,而API以下则要求“没有必要就不添加实体”,所以API绝对是技术输出的关键点,如何实现其可用性。飞桨框架2.0也升级了API系统,包括系统梳理和简洁处理。简单来说,就是让AI技术的外部输出的“路径”更容易使用,更兼容,方便技术的“一键输出”。

在训练层面,飞桨框架2.0在支持1000亿尺度稀疏参数的基础上,支持了1000亿尺度密集参数模型的训练。人工智能作为一种“从实践到实践”的技术,其可用性和效率必须从实践中获得。分布式训练源于百度自身的场景需求,这是飞桨与生俱来的特点,此外,在飞桨框架的2.0版本中,新支持混合并行模式,即数据并行、模型并行和流水线并行可以相互结合使用,可以更高效地将每个网络层甚至某一层模型的参数拆分到多个GPU卡上进行训练,真正支持不同场景下1000亿规模的密集参数模型的训练。

  “领先性”直接转化为“降本”

飞桨框架2.0引入了业界首个“通用异构参数服务器”技术,使得训练任务对硬件模型不敏感,即可以同时使用不同硬件混合异构训练。通过异构参数服务器模式,用户可以在异构硬件集群中部署分布式训练任务,目的是高效利用不同计算能力的芯片,获得更高吞吐量和更低资源消耗的训练能力。异构参数服务器性价比非常高。如下图所示,只有2台CPU机和2台GPU机可以达到和4台GPU机差不多的训练速度,成本至少可以节省35%。

飞桨框架2.0是行业中第一个实现35%成本降低的“通用异构参数服务器” 科学快报 第4张

飞桨还努力打造业内最完整的硬件合作生态。作为“智能革命”的一块砖,人工智能必须移动到任何需要的地方。所以如何“挪过去”至关重要。除了英特尔, 英伟达、ARM等众多芯片厂商外,飞桨全面深度适应各种人工智能硬件。飞腾, 海光, 鲲鹏, 龙芯申威还有CPU结合麒麟, 统信普华,操作系统还有昆仑In 百度、DCU在海光、寒武纪、Bitland、瑞芯微、高通和英伟达等AI芯片深度集成另外还和服务器厂商合作目前,飞桨已有29个芯片或集成电路经过改造并正在进行改造

飞桨框架2.0是行业中第一个实现35%成本降低的“通用异构参数服务器” 科学快报 第5张

如今AI大规模落地进入快车道,深度学习技术不断发展。以飞桨为首的国内框架迎来了时代的机遇。2021年,基于飞桨,的企业级开发工具库越来越多,越来越多的用户加入飞桨,的生态社区,成为加速这个时代智能化的重要推动力。可以说,飞桨“科技成就一切”的磅礴力量正在崛起。