云天励飞发布大模型推理芯片：14nm Chiplet架构，国内首创！

魏定国

2023年11月15日，在第25界高交会上，云天励飞(56.840, -1.04, -1.80%)重磅发布新一代自主可控的面向边缘人工智能（AI）推理芯片DeepEdge10系列，最高算力可达48TOPS，支持D2D/C2C Mash互联扩展，可以满足千亿参数的大模型部署需求。

一、大模型时代，AI推理芯片将是应用落地的关键载体

自去年年底以来，随着以ChatGPT为代表的AI大模型应用的持续火爆，推动了AI全面进入了大模型时代，而且随着边缘算力的提升，AI大模型的部署也开始由云端进入到边了缘端。

根据IDC的预测，到2023年底，全球的边缘计算市场将达到2000亿美金的规模；预计到2026年，边缘计算市场将突破3000亿美金。
目前很多AI大模型仍处于快速发展的阶段，因此，对于AI训练芯片的需求仍在快速增长，但是当大模型训练完成，开始进入到了实际应用之后，对于AI推理的需求将会更多。

根据IDC的数据显示，2020年中国数据中心用于人工智能推理的芯片的市场份额已经超过50%，预计到2025年，用于人工智能推理工作负载的芯片将达到60.8%。同样，对于边缘AI应用来说，更需要的也将是AI推理芯片。

但是，边缘计算的场景存在着算力碎片化、算法长尾化、产品非标化、规模碎片化的特征，传统的算法开发和芯片都难以适应新一代人工智能边缘计算场景的产品化需求。而大模型的出现，开始为行业提供了算法层面的解决之道。但大模型在边缘计算场景要面向实战发挥作用，则需要AI大模型推理芯片的支持。

云天励飞董事长兼CEO陈宁表示：“从2015年开始，研发到今天的第三代的神经网络处理器，可以全兼容基于Transformer的计算范式。而Transformer是语言、视觉大模型的计算范式，云天励飞2020年开始研究，到2021年就实现了全面兼容。今天发布的DeepEdge10系列芯片，正是基于最新的Transformer计算范式。”

对于AI芯片而言，大模型也带来了全新的计算泛式和计算要求。芯片需要具备更大的算力、更大的内存带宽、更大的内存容量，才能支持巨量参数的大模型在边缘端运行。同时，AI边缘推理芯片还承担了“落地应用最后一公里”的职责，这就意味着AI边缘推理芯片不仅要支持大模型等AI计算任务，还需要具备较强的通用算力。

针对上述场景需求，云天励飞也将DeepEdge10打造成为了一款面向边缘AI大模型优化的主控级SoC芯片！

二、14nm Chiplet架构，最高算力可达48TOPS

据介绍，云天励飞DeepEdge10是国内首创的14nm Chiplet架构的面向大模型AI推理的主控级SoC芯片。

具体来说，DeepEdge10集成了2大核＋8小核的国产RISC-V CPU内核，最高主频1.8GHz；还集成了性能可对标Arm Mali-G52的GC8000L GPU，主频800MHz，支持最大8K@30fps的视频编解码能力和最大2亿像素的JPEG编解码能力，并且支持双屏异显（2K@60fps）；内置云天励飞最新一代自主知识产权 NPU NNP400T，int8算力可达12Tops。同时，DeepEdge10还具备硬件级的安全特性，以及完备的高低速外围接口。

正如前面所介绍的，DeepEdge10是面向大模型推理需求进行了针对性优化，其内部集成的 NNP400TNPU是一款支持支持大模型新型计算范式的神经网络处理器，不仅支持FP16/INT16/INT8等数据格式，还支持多线程、支持Transformer网络结构模型。

在制造工艺方面，由于更为先进制程工艺获取受限，DeepEdge10选择基于国内自主可控的14nm工艺。同时，采用了基于D2D（Die to Die）互联的 Chiplet先进封装架构，可以支持算力灵活扩展，可满足不同场景对算力和成本的多样化需要。

比如通过D2D Chiplet先进封装技术，在一颗封装里面装入更多的DeepEdge10的Die，就能够实现性能的成倍提升。当然，这对于先进封装技术来说，需要保障Die与Die之间能够实现高速互联、大带宽、低功耗、低时延、传输的高可靠性、强大路由、统一内存。

“14nm Chiplet D2D同样可以实现的出色的计算能力，我们基于Chiplet D2D的技术可以实现一次设计流片、多次封装，可推出多颗不同计算规格的AI推理芯片。”陈宁进一步解释道。

据介绍，基于Chiplet D2D架构，云天励飞DeepEdge10系列演化出了DeepEdge10C、DeepEdge10标准版和DeepEdge10Max三款芯片。其中，DeepEdge10C算是精简版，NPU算力为8TOPS。而DeepEdge10Max则是“PRO版”，CPU核心提升到了40核，NPU算力达到了48TOPS。

此外，DeepEdge10还支持C2C（Chip to Chip）Mesh Torus互联扩展。这也意味着，多颗DeepEdge10芯片可以直接通过C2CMesh Torus互联扩展来进一步提升整体的性能，可以实现高达512GB的统一内存、高达192GB的统一内存带宽、实现各计算节点的最短传输延迟、Mesh可重构特性可以支持2×2/3×3/4×4 Mesh。这足以满足千亿级大模型的部署需求。

据陈宁透露，云天励飞下一代的边缘AI推理芯片DeepEdge20将会采用第二代的Chiplet架构，兼容国际标准/国产UCIE标准，内核采用第三代的异构多核架构，并集成自研的第四代的神经网络处理器，届时性能将会比DeepEdge10提升20倍。

在此次发布会上，云天励飞还推出了三款基于DeepEdge10系列的推理加速卡，包括IPU X2000、IPU X5000和IPU X6000，算力分别为24TOPS、64TOPS和256TOPS。其中，IPU X5000推理卡，已适配并可承载SAM CV大模型、Llama2等百亿级大模型运算。

根据云天励飞公布的数据显示，其最强的DeepEdge 10MAX芯片可以支持在端侧运行70亿参数的LLMs大模型，生成速度可达27 Token/s，并且可兼容运行130亿参数的LLMs大模型。而基于DeepEdge10系列芯片的IPU加速卡，通过C2C Mesh互联扩展，算力可达1024TOPS，运行700亿参数的LLMs大模型，生成速度可达42Token/s，并可兼容运行千亿参数的LLMs大模型。

为了让合作伙伴能够充分发挥DeepEdge10系列相关产品的AI算力，适应D2D/C2C架构下灵活算力扩展，云天励飞也推出了一站式的开发工具链。

在产品出货形态上，云天励飞DeepEdge10系列除了可以直接出货芯片和加速卡之外，还包括板卡、盒子、推理服务器等，可广泛应用于AIoT边缘视频、移动机器人(12.200, 0.07, 0.58%)等场景。

在生态合作方面，目前云天励飞已经向国内头部的AIoT芯片设计厂商、智慧汽车芯片设计厂商、服务机器人厂商、国家重点实验室等提供神经网络处理器的IP授权，助力其芯片的AI能力提升；云天励飞还有近30家算法芯片化合作伙伴，这些合作伙伴的需求将会被植入云天励飞的下代芯片当中；在算法应用生态方面，所有使用云天励飞芯片产品的合作伙伴，均可在线下载更新云天励飞的100＋种算法。

三、算法芯片化，云天励飞打造AI芯片的核心“武器”

云天励飞自2014年成立以来一直坚持自主研发芯片，沉淀“算法芯片化”的核心能力。“算法芯片化”并不是简单的“算法＋芯片”,而是云天励飞基于对场景的理解，以及对算法关键计算任务在应用场景中的量化分析，将芯片设计者的理念、思想与算法相融合的AI芯片设计流程，能够让AI芯片在实际应用中发挥更优的效果。

在算法芯片化核心能力的支持下，云天励飞目前已完成了三代指令集架构、四代神经网络处理器架构的研发，且已陆续商用。更可贵的是，通过多年的投入，公司已建立起一支核心芯片团队，设计经验平均超过14年。

在陈宁看来，云天励飞的自主研发芯片，也是公司自进化城市智能体战略的重要引擎。2020年，云天励飞在高交会上正式发布自进化城市智能体战略。驱动自进化城市智能体发展的核心逻辑，是打造“应用生产数据、数据训练算法、算法定义芯片、芯片规模化赋能应用”的数据飞轮。芯片是决定AI应用广度与深度的关键载体，也是自进化城市智能体建设的重要算力支撑。

展望未来，陈宁认为，三年后，80%以上的企业将运行在大模型之上；五年后，机器人和数字人(10.570, 0.10, 0.96%)的数量将超过人类的数量；七年后，也就是到2030年，大模型的智慧程度将超过人脑，那个时候大模型可能将会具备超过1万亿的参数体量，相当于是人脑末梢神经链接的数量，我们正在踏入第四次工业革命的开端。

“在这个过程中，云天励飞也将坚持我们的初心，继续加大自主研发力度，不断的推进人工智能算法的技术、芯片的技术。同时，立足自主可控，以自研‘芯’，为自进化城市智能体发展提供强大引擎。”陈宁说道。

完