嘉楠科技发布高性能图像及语音处理AI芯片勘智K510

草帽王子

2021年7月8日，嘉楠科技正式发布AI芯片勘智K510。该芯片定位于中高端边缘推理市场，搭载自主研发IP核的升级版本KPU2.0，采用独创计算数据流与复用方式，在算力提升3倍的同时降低芯片功耗。K510集成新一代图像处理单元，搭载3D ISP，支持TOF深度摄像头，以及2D/3D降噪、WDR宽动态、鱼眼矫正和硬件3A等功能。在应用方面，K510支持高清视频会议、高清航拍和机器人等边缘侧场景。

K510在总线架构、IP核心与视频子系统推出全新设计，相比一代芯片算力提升3倍，经典视觉算法大幅度优化，自研高速PHY接口理论带宽10GB/s，8位数据压缩率50%以上，极大优化了勘智AI系列在机器视觉场景的应用性能。

一、采用NoC总线架构解决单一时钟与分区能耗

总线结构是一款SoC的主要特征。为了解决SoC总线地址空间有限以及芯片受单一时钟的影响，嘉楠科技在NoC总线架构中设计了可扩展的地址空间，使每个IP核工作在特定的时钟域。

根据相关性，K510将系统时钟结构划分成多个时钟域，从而解决分状态时钟控制问题。把整个系统划分成多个可支持上下电操作的电源域，从而解决了分区域控制能耗问题。

在ISA方面，K510沿用RISC-V双核64位CPU架构，并集成了数字信号处理器DSP来辅助加速AI应用。不同的是，嘉楠科技为DSP设计了专用的片上存储，并且在双核CPU与DSP之间加入mailbox通信模块，以实现对系统各部分的灵活调度。


二、KPU2.0：独创计算数据流技术突破存储与性能瓶颈

作为K510性能优化的“重头戏”，其自主研发IP核KPU2.0融合了嘉楠科技在算法、软硬件和编译器的最新设计，集中突破AI芯片设计中广泛存在的“存储墙”和“性能墙”的问题。

首先是“存储墙”，计算过程需要把数据从存储器搬运到处理器才能进行运算。而存储器的吞吐性能往往滞后于处理器的性能增长，直接影响了计算效率的提升。嘉楠科技在KPU2.0中采用了全局本地缓存设计，通过SRAM阵列满足神经网络中不同层级对内部访问带宽和存储的需求。

其次是“性能墙”，为了提升计算效率，KPU2.0采用了动态3D PE阵列。第三个维度支持多种方式共享传递数据，并实现多个维度上的计算映射，提高PE阵列的利用率。同时也可以动态开启或关闭每一个2D阵列，并根据不同层级对带宽和计算资源的需求进行调整。

结合动态3D PE计算阵列和灵活的全局本地访存设计，嘉楠科技提出独创的计算数据流，计算卷积不需要进行im2col（image to column）数据重排，提升计算效率；而通过多级存储设计，K510可以增加卷积计算的数据复用，从而减少数据的读取次数，降低芯片功耗。

同时，KPU2.0还搭载了可重构的SIMD加速单元，通过创新的meshnet网络可以灵活配置支持各种激活函数、pooling和resize等算子。


三、自研高速PHY接口 理论最大带宽10GB/s

K510搭载的高速PHY接口由嘉楠科技自主研发。LPDDR4 支持32位双通道，最高频率2700MHz，理论最大带宽10GB/s。MIPI D-PHY spec v1.2, 支持4通道输入，每通道峰值速率达2.5Gbps。


四、外设升级 视觉能力大幅提升

与第一代芯片相比，K510在帧率和外设方面都有大幅优化。每T算力帧率达到业内领先水平。此外，K510还支持浮点 BF16 计算，在不适合进行模型量化的场景相比同类产品更具优势。

在外设方面，K510搭载MIPI CSI2和DVP接口，可同时支持最多3个摄像头输入。MIPI CSI接口支持1x4 lane和2x2 lane模式，灵活支持各种MIPI摄像头。K510 MIPI 支持DPHY v1.2标准，最高速率每lane 可达2.5Gbps，支持RAW, RGB, YUV等各种流行格式。

K510内部还集成了3个图像处理单元ISP, 其中一个ISP支持3D 功能，无需软件参与，直接依靠硬件完成深度数据的提取加工，相比软件处理深度信息方式不但节省了巨大的CPU开销，性能上也会有很大提升。


五、算法量化压缩降低带宽成本

为进一步提高芯片对算法模型的适配，嘉楠科技在K510的编译器和软件上联合优化带宽需求，对算法进行量化压缩。

K510在设计上针对中间层数据和权重的分布特性采用不同的压缩算法。针对中间层计算数据，利用相邻数据的相关性进行无损压缩，即便8位数据的平均压缩率也能达到50%以上，并且基本不损失精度；对权重数据则采用稀疏压缩，在网络进行稀疏训练的情况下，压缩率也可以到50%以上。

在软件方面，K510支持丰富的网络模型算子，包括常见的CNN、RNN和各类向量计算和数据处理操作。支持裸机、嵌入式RTOS和Linux，并且移植了 OpenCV Python Numpy。同时，K510支持TensorFlow、PyTorch、ONNX和TVM等主流深度学习框架，兼容性更强。


六、支持高清航拍、机器人等场景

得益于架构优化和高清MIPI的强大配置，K510支持2~3路2K显示和VPU图像拼接，以及业内最前沿的TOF VSLAM视觉导航技术，快速实现对障碍物的测距和避障，可用于无人机航拍、高清视频会议和机器人等多个场景。


嘉楠科技简介：
嘉楠科技（NASDAQ:CAN）成立于2013年，是一家以ASIC高性能计算芯片设计为核心，集芯片研发、计算设备生产和软件服务的科技公司。公司愿景是“提升社会运行效率，改善人类生活方式”。嘉楠科技在ASIC领域拥有丰富的芯片设计和量产经验，2013年发布并量产全球首款ASIC比特币矿机。嘉楠科技在先进制程芯片工艺上一直位于业界领先水平，保持每年1-2次重大产品迭代，为加密货币矿业提供高能效的计算设备。2018年，嘉楠科技发布全球首款RISC-V架构商用边缘AI芯片，探索AISC技术在高性能计算和人工智能领域的最大潜能。

完