新ちゃん 发表于 2020-8-18 15:14:38

博士答辩人没来,上海交大ACM校友实力演绎学以致用

疫情之下,我们已经看惯了线上的一切:云毕业典礼、云学术会议、云发布会。
但这些“云”终究让人感觉没“内味”。
因为没有身后的PPT投影、手舞足蹈的演讲,终归都是没有灵魂的!
所以,上海交大ACM班校友、南加州大学在读博士黄锃用专业知识,给自己办了场特殊的博士论文答辩。

他只有一个摄像头,家里没有投影仪,却把自己的答辩会办得像在礼堂演讲一样。
演讲人从2D变成3D,卧室背后的白墙也变成自己展示论文PPT的幕布。
右上角就是真实的黄锃同学,他一边演讲,电脑实时把他变成3D模型投影到场景中,导师们看到这一幕不禁笑了,随手就是一个转发。

在黄锃同学的主页上,我们发现了他的学弟李瑞龙早就开始“整活”,验证了3D论文答辩的可行性。

现在黄锃同学的这项研究已经被ECCV 2020收录。
背后的技术黄锃过去就一直从事3D图像重建的研究工作,去年他参与的一项研究PIFu(像素对齐隐式函数)可以从单张图片重建完全纹理的3D人体图像。

但是因为PIFu对硬件的要求很高,导致该技术并不能用于实时的图像重建。
为此,黄锃和团队里的李瑞龙、修宇亮等一起提出了一种新颖的分层表面定位算法,和一种无需显式提取表面网格的直接渲染方法。
通过从粗到细的方式选择不必要的区域进行评估,成功地将3D重建速度提高了两个数量级,同时没有降低质量。
结果证明,这种从单摄像头实时重建3D视频的方法,处理速度可达15fps,3D空间分辨率为2563。

为了减少实时3D重建所需的计算量,作者引入了两种新颖的加速技术:基于八叉树的鲁棒表面定位、无网格渲染。
由于算法流水线的主要瓶颈,是要在过多的3D位置上进行估计,因此,减少要估计的点数将大大提高性能。
八叉树是用于有效形状重构的通用数据表示,它可以分层减少存储数据的节点数量。
作者提出的这种表面定位算法,保留了原来靠蛮力重建的准确性,而且复杂度与基于朴素八叉树的重建算法相同。
此外,作者通过直接从PIFu生成的视图渲染,来绕过显式网格重建阶段。下图展示了无网格渲染算法的原理,虚线和实线分别表示真实表面和重建表面。

结合这两种算法,可以实时从任意角度快速渲染3D图像。
该算法还面临一个问题,那就是有些特殊的姿势和视角很难恢复,因为它们只在训练数据集中占据很小的一部分。
一般的方法是进行数据扩展,但是对于这种3D数据来作扩增是很困难的。
然而,之前的研究证明,改变数据采样分布会直接影响重建的质量,于是作者找到了一种解决训练数据偏差的方法OHEM。其关键思想,是让网络自动发现困难的样本,自适应地更改采样概率。
最后,作者的方法在没有任何超参数的情况下实现了最快加速,在保持原始重建精度的同时,处理速度从30秒减少到0.14秒。与无网格渲染技术相结合后,处理一帧图像的时间只需0.06秒。系统的总体延迟平均为0.25秒。

这种方法不需要搭建搭建具有多个视角摄像头的工作室,让普通人也能用上实时的3D演讲视频。
作者指出,本文的主要贡献点在于:
1、从单眼视频中实时生成3D全身视频,可以在各种姿势和服装类型下构造出完全纹理的衣服,而不受拓扑约束。2、提出一种渐进式表面定位算法,可使表面重建比基线快两个数量级,而且不会影响重建精度,在速度和正确性之间做了很好的取舍。3、提出无需明确提取表面网格即可直接用于视图合成的渲染技术,进一步提高了整体性能。4、提出一种有效的训练技术,可解决合成生成的训练数据不平衡问题。

和全息投影相比?
乍一看投影效果,是不是想到了马云今年在人工智能大会上,利用商汤全息投影完成的演讲?
△ 来源于微博@澎湃新闻


虽然也是将人的影响投影到另一处场景中,不过二者的性质完全不同。
全息投影成像的原理,是利用光的干涉和衍射,再现出物体真实的三维图像记录。
而这次的虚拟答辩效果,实际上是利用AI将摄像头拍到的2D人物图像,转换成3D的效果。
也就是说,二者无论是从原理、还是从设备需求来说都不一样。
不仅如此,应用的场景也有所不同。
全息投影更侧重于真实场景下「互动」的效果,也就是说,你在线下场景中,可以与一个投影出的3D版「真人」互动、或是听一场3D全息投影的演唱会等。

但这次的虚拟3D生成技术,则是侧重于在电子设备上将2D图像视频模拟出3D效果。
无论是单薄的2D视频、还是无法利用视频呈现的2D照片,利用这项技术都可以还原出仿真的人物形象。
也就是说,一台摄像机拍出来的普通2D效果,利用这项技术就能转换成效果斐然的3D图像。
关于作者
用这项技术答辩的黄锃,本科毕业于上海交通大学ACM班。而这项实时技术的主要贡献,则来自他合作的两位学弟。
这篇论文的两个同等贡献的第一作者,分别是两位黄锃的博士一年级学弟李瑞龙、修宇亮。
李瑞龙毕业于清华基础科学班,在清华获得了物理和数学学士学位,以及计算机科学硕士学位。

修宇亮则毕业山东大学软件工程学院数字媒体技术专业,本科期间他还是专业第一,之后进入上海交大获得计算机硕士学位。

至于黄锃自己,他在高中时就曾获得全国中学生物理奥赛金牌,进入上海交大ACM班就读后,本科四年均获奖学金,还顺便在数学建模美赛(MCM)上拿了个一等奖。
本科期间,黄锃曾在微软亚洲研究院实习,师从首席研究员曾文军,参与机器学习、深度神经网络相关的科研课题中。
△ 曾文军,图源:微软亚洲研究院


也是在这里,他开始深入地认识和掌握深度学习的核心概念和技巧,也开始认真思考机器学习的现状和发展。
李瑞龙、修宇亮、黄锃均师从计算机图形学领域有名的黎颢教授,主要研究方向是结合几何处理和深度学习的虚拟人体重建。
△ 黎颢


博士期间,黄锃曾在Facebook实习,共有9篇论文发表在论文顶会上,其中SIGGRAPH 1篇,ECCV 2篇,CVPR 2篇,ICCV 3篇,ICLR 1篇。黄锃最近的一项研究ARCH,则发表在CVPR 2020上,这项研究主要是关于穿着衣服人的3D可动画化重构。

而黄锃最「出圈」的研究,是一项名为PIFu的2D图像转3D技术,在国外的社交媒体上被网友拿来模拟了各种2D物体图像。有日本网友利用PIFu的技术,将照片上的奥黛丽·赫本和坂本龙马「请」到了自己的家里。

3D的效果还是很不错的。(就是,黑白的图像看起来略有点阴森…)
论文地址:
https://arxiv.org/abs/2007.13988视频介绍:
https://www.bilibili.com/video/av753971174/黄锃个人主页:
https://zeng.science/
本篇完,感谢关注:RISC-V单片机中文网

页: [1]
查看完整版本: 博士答辩人没来,上海交大ACM校友实力演绎学以致用