塞巴斯蒂安 发表于 2022-2-9 18:47:05

深度解析爱芯元智AI ISP技术

本帖最后由 塞巴斯蒂安 于 2022-2-9 18:46 编辑

AI ISP作为爱芯元智的核心技术优势,在产品和商用落地过程中得到了充分应用,也收到了业界的积极反馈。今天,特邀爱芯AI ISP负责人Eric Zhang,来为大家讲解爱芯AI ISP背后不为人知的“秘密”,掌声有请老张
一、什么是AI ISP?

AI ISP是这两年才出来的一个新的技术概念。传统的ISP有三种组织形式,整个pipeline中有不同的模块负责不同的功能。AI ISP已经有很多公司进行研究,比如英特尔实验室的《Learning to see in the dark》论文中提出,可以通过整个神经网络来实现ISP的全部功能。在这篇论文中,通过一个raw图进入,然后输出RGB或者YUV图像。但是在之前的研究中,没有一家公司能够真正把它进行产品化。

在爱芯元智的AI ISP中,并不是仿照这种大家认为的AI ISP来进行的,我们更接近于真正的产品化。

在我们的pipeline中,只将其中重要的模块进行AI化,将有限的算力集中于整个AI ISP中,最关键、人眼最可知的这些功能中,比如像HDR、去噪的3DNR、tone mapping,还有demosaic这样的功能中进行AI化,以实现整个AI ISP的最佳效果。可以通过以下视频看到效果对比。


二、为什么选择暗光场景?

上边的视频选择了暗光场景,其实AI ISP不只是暗光的,但是暗光场景是AI ISP与传统ISP区别最显著的场景。虽然传统ISP在过去几十年中一直在暗光场景中进行迭代,但依旧未能取得重大突破。

从下面三张图中我们可以明显看出传统ISP跟AI ISP在暗光场景中的区别。

前两张图是传统ISP能够达到的一般效果和最佳效果,第三张图是AI ISP达到的处理效果,可以看到,AI ISP已经远超传统ISP的性能。AI ISP在暗光场景中最主要的功能就是降噪,这就要讲到噪声的来源。

三、噪声是怎么来的?

在整个数字成像系统中,噪声在从光信号转换成数字信号的过程中一直存在。主要的噪声来自于sensor。在光子转化为电子,电子转化为电压的过程中,以及变成数字信号进入到pipeline,sensor中都会有噪声产生。转换成数字信号之后,噪声基本上就进入了一个稳定状态。

噪声可以分为很多种类,有些噪声是很容易被测量出来,但有些噪声很难测量。如何进行噪声测量,以及进行噪声的数字建模,对于整个的夜景去噪过程来说都是很困难的事情。传统方法难以区别噪声和细微的信号,但AI能够通过学习足够多的样本,将噪声和信号区别出来。

在我们的整个ISP中,有一个专门为了ISP设计的NPU,这个NPU和传统其他芯片中的NPU并不完全一样,除了强调计算单元之外,还有Pre-Process、Post-Process和一个更大的Shared Memory,以及一些针对AI ISP的流式处理和CV的处理操作,可以使我们的算力在AI的图像处理中能够有更好的提升。

四、AI去噪算法的关键

“01、AI的网络结构和算力

网络结构和算力是直接相关的。在比较常见的一些网络中,会采用比如像全链接这样的涂层,以及像时域降噪和空域降噪的区分设计。我们的AI ISP也采用了不同的网络结构和设计,来提升AI ISP的灵活性。在过去的一年中,我们设计了几十种网络结构,针对NPU筛选出最适合我们的网络,最大化提升NPU的利用率。
“02 图像质量评判

有过专业研究的朋友都知道,PSNR和SSIM是业界中使用最频繁的评价函数,但类似这些评价函数本身也存在着问题,其中最主要的就是,所有的评价函数都无法和人眼达到完全一致的表达。

在真正的AI ISP中,我们往往需要发明新的评价函数,或者是将几种不同的评价函数混合起来使用,以便能够在整个系统中,让最后训练出的网络生成更好的图像质量。

“03 数据集获取

数据集的获取一直是人工智能领域中让人们头疼的一件事情。在图像去噪领域中,最经典的数据集获取方法,第一种是由拍摄来得到成对的数据记忆,但是它无法处理运动物体的问题;第二种是利用传统算法例如BM3D、VBM4D来处理,但是这种方法自身也具备无法突破的局限性;第三种方法是通过噪声模型生成噪声,但确定有哪些噪声、如何对噪声模型进行建模,成为了这一方式的研究瓶颈;第四种方法是近两年提出的(见下图),通过采集少量的成对数据,然后让神经网络能够自己生成有噪的成对噪声数据集,自己来训练自己的ISP网络。这样的方法可以大幅度优化数据采集的过程,目前看可能是整个业界的发展方向之一。
五、夜景AI处理,不只降噪

在夜景拍摄中,为了得到更清晰自然的图像,我们不只要调整亮度,也要调整对比度。在对比度的调整中,传统的方法,学术界称其为直方图均衡,但均衡并不代表能得到更佳的成像效果。因此有一些算法会进行global tone mapping,根据全图的亮度进行调整,最终生成一个与我们的期望较为接近的图像。但提升算法识别的准确度,需要AI的助力,才能得到更好的亮度和对比度的调节,这对夜景图像调整,或者说对于整个AI ISP,都是一个很大的挑战。

当然,暗光处理只是AI ISP 的开始,AI世界中不只有暗光处理,还有比如高光抑制、解析力提升、夜景紫边的处理以及一些伪纹伪色的处理等,AI ISP都能比我们所见到的传统ISP更具优势。


页: [1]
查看完整版本: 深度解析爱芯元智AI ISP技术