Arm塑料芯片登Nature！ 面向AI 行业应用场景的开源项目来了！

草帽王子

一、RT-AK 相关

2021年7月23日，南京集成电路培训基地携手东南大学、电子科技大学、北京邮电大学、南京邮电大学、南京农业大学、意法半导体（中国）投资有限公司、上海睿赛德电子科技有限公司联合举办嵌入式AI系列“暑期学校”圆满结束。
本次暑期学校以 STM32&RT-Thread 为主题，通过使用 RT-AK 一键部署 AI 模型，同学们全部完成了各自拟定的实验。（硬件基于 ART-PI）
实验包括但不局限于：基于手势识别的智能猜拳、水果分类、基于惯性数据的姿态检测、口罩识别、对抗网络生成二次元头像等等，其中较为突出的项目将会在后续逐渐发布出来。

二、AI 芯片

1. Arm塑料芯片登Nature！0.8μm，首款柔性原生32位微处理器

长跑6年研发，能让饮料瓶智能化。

芯东西7月23日消息，当地时间7月21日，Arm首款基于柔性塑料的32位微处理器PlasticARM刊登在了顶级学术期刊《自然》上。
PlasticARM由56340个NMOS（N型金属-氧化物-半导体）晶体管和电阻器组成，面积为59.2mm2，时钟频率最高可达29KHz，功耗仅为21mW。PlasticARM采用了薄膜晶体管（TFT），可以弯曲到曲率半径为3mm的程度。

这款微处理器由Arm投资的英国柔性IC制造厂商PragmatIC制造，采用FlexLogIC 200mm晶圆工艺，芯片制程为0.8μm，具有低成本大批量制造潜力。

2. 美信发布基于自家AI单片机MAX78000的智能产品参考设计 | 安富莱电子

主要应用于边缘视觉和听觉应用。

MAX78000是M4和RISC-V双核，带神经网络加速。

框架：

效果：

3. 荷兰初创公司 Innatera 发布用于脉冲神经网络SNN的AI 加速器| 安富莱电子

芯片样品有望在2021年底之前上市。

4. 华邦HyperRAM与SpiStack助力瑞萨RZ/A2M MPU加速构建嵌入式AI系统 | 安富莱电子

华邦确认其HyperRAM 和 SpiStack®(NOR+NAND) 产品能够与瑞萨基于Arm 内核的RZ/A2M 微处理器 (MPU) 搭配使用。

HyperRAM 运行的最大频率为200MHz，可在3.3V或1.8V的工作电压下提供400MB/s的最大数据传输速率。

华邦SpiStack (NOR+NAND) 将NOR芯片和NAND芯片堆叠到一个封装中，例如 64Mb Serial NOR和1Gb QspiNAND芯片堆叠，使设计人员可以灵活地将代码存储在 NOR 芯片中，并将数据存储在NAND芯片。

三、AI 前沿

1. 吊打一切现有版本的YOLO！旷视重磅开源YOLOX：新一代目标检测性能速度担当！ | 极市平台

论文paper:
https://arxiv.org/abs/2107.08430
代码code:
https://github.com/Megvii-BaseDetection/YOLOX

本文是旷视科技在目标检测方面的最新技术总结，同时也是CVPR2021自动驾驶竞赛冠军方案的技术总结。

本文将近两年来目标检测领域的各个角度的优秀进展与YOLO进行了巧妙地集成组合(比如解耦头、数据增广、标签分配、Anchor-free机制等)得到了YOLOX，性能取得了大幅地提升，同时仍保持了YOLO系列一贯地高效推理。

此外值得一提的是，YOLO系列终于又回到了Anchor-free的怀抱，不用费劲心思去设计anchor了。

本文将YOLO检测器调整为了Anchor-Free形式并集成了其他先进检测技术(比如decoupled head、label assignment SimOTA)取得了SOTA性能，比如：

• 对于YOLO-Nano，所提方法仅需0.91M参数+1.08G FLOPs取得了25.3%AP指标，以1.8%超越了NanoDet；
• 对于YOLOv3，所提方法将指标提升到了47.3%，以3%超越了当前最佳；
• 具有与YOLOv4-CSP、YOLOv5-L相当的参数量，YOLOX-L取得了50.0%AP指标同事具有68.9fps推理速度(Tesla V100)，指标超过YOLOv5-L 1.8%;
• 值得一提的是，YOLOX-L凭借单模型取得了Streaming Perception(Workshop on Autonomous Driving at CVPR 2021)竞赛冠军。
  

此外，值得一提的，该方法的ONNX、TensorRT、NCNN、OpenVino推理模型均已开源。

2. 速度最快250fps！实时、高性能车道线检测算法LaneATT | 我爱计算机视觉

CVPR 2021 车道线检测方向论文：Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection 。
论文：https://arxiv.org/pdf/2010.12035.pdf
代码：https://github.com/lucastabelini/LaneATT

车道线检测是自动驾驶领域非常重要的子任务之一。作者提出了一个实时、高性能的车道线检测算法，将其命名为LaneATT。

该方法基于anchor实现，且应用了注意力机制，轻量级版本的推理速度达到250FPS。

将车辆前视相机采集到的RGB图像作为输入，输出车道线位置。

算法总体流程如下图所示：

从上图中可以看出，该算法将backbone的输出结果进行池化操作，以提取每个anchor的特征；将提取到的特征与注意力模块产生的全局特征进行融合，以解决遮挡、光照等原因导致车道线检测不到的问题；融合后的特征作为全连接层的输入，全连接层输出车道线的置信度和相关参数。
3. 新增Transformer优化！NVIDIA最新发布TensorRT 8！推理方面取得重大突破 | CVer

github: https://github.com/nvidia/TensorRT

近日，英伟达悄悄地发布了TensorRT 8，BERT-Large推理仅需1.2毫秒！同时还加入了量化感知训练和对稀疏性的支持，实现了性能200%的提升。项目已开源。

2019年黄仁勋在GTC China正式发布了TensorRT 7，并称其是「我们实现的最大飞跃」。

然而今年TensorRT 8的发布却十分低调。

相比于7.0，TensorRT 8可以说是实现了2倍的性能提升。

• 在1.2毫秒内实现BERT-Large的推理
• 通过量化感知训练让INT8的精度达到了与FP32相当的水平
• 支持稀疏性，让Ampere GPU拥有更快的推理速度
  

TensorRT 8可应用于各种不同的场景，例如自动送货机器人、自动化农场、自动光学检测、视频分析，还有能够转写和输入的聊天机器人。

【其他】

ICCV 2021 放榜！一文看尽10篇论文的开源项目（检测/分割/Transformer等）
WAIC 2021 | 中国惠普周信宏：AI基础设施——边缘计算演进及趋势

四、开源项目

1. 【嵌入式】7月Top10树莓派改装项目：跨界改装无人机、GPS接收器、Game Boy | 新智元

原文：
https://www.tomshardware.com/features/best-raspberry-pi-projects/1

无人机、Gameboy、游戏手柄甚至是一个iMac？人类已经不能阻止树莓派变身了。下面我们来看看7月份10个树莓派最佳变身案例！

不久前，7月份的TOP 10榜单发布，我们来看看这个月国外树莓派爱好者们又为我们开了哪些脑洞。

在这个项目里，印度网友Ravi Butan将一个树莓派Pico安装在了自己制作的无人机上，并且通过安卓系统的控制程序，将你的手机变身为遥控器来控制这个无人机。

这位Ravi Butan同时也是个疯狂的航空器爱好者。

得益于树莓派出色的拓展性，目前在它身上安装了6轴惯性测量仪、气压计模块，未来还可以通过I2C或者SPI传感器来进行各种硬件扩展。

这位Andrew Healey则是突发奇想，将自己箱子里吃灰的一些元件与一个树莓派连接，然后又具备了一些神奇的能力！

2. 2021 瓷砖表面缺陷检测总决赛冠军解决方案：传统方法+深度学习 | CVer

作者：安宁的庞巴迪 | 来源：阿里云天池
https://tianchi.aliyun.com/forum/postDetail?postId=195955

虽然当前深度学习技术十分火爆，但它占AOI落地项目中的比例仅约10%。传统算法依然无法被完全取代，它有着计算复杂度低、调试成本低等优点。

为了结合深度学习算法和传统算法的优势，我们提出Deep and Shallow Fusion Network (DSFNet), 该网络将传统算法提取的特征在模型的深层和浅层按通道进行拼接。这样的结构仅用单模型ResNeSt50就取得了优异的成绩。

我们对仅在模型的深层或者浅层拼接分别进行了实验，发现只有同时进行拼接效果最好。

3. 真正面向 AI 行业应用场景的开源项目来了！ | OpenCV中文网

传送门：
https://github.com/PaddlePaddle/PaddleX

两次登上Github全球趋势榜，覆盖工业制造、安防巡检、能源电力、卫星遥感、智能交通等十多个行业的AI应用场景！借助这个项目，不需要你有深厚的数学基础，不需要你是算法大牛，只要你会用Python就可以快速开发AI算法，实现产业智能化升级的想法。AI学习路程不必再“从入门到放弃”、“从理论到躺平”啦！

涉及的领域：

●工业领域：
a.  瑕疵检测：包括3C电子，汽车制造，制药，钢铁焊接，甚至公路、铁轨的缺陷检测及维护
b.  智能抓取：自动分拣、产线上下料、钢材等重型产品搬运等
c.  产品计数：电子产品、零件或者钢筋等任何产品的检测计数

●安防巡检领域：
a.  人员安全检测：行人检测、安全帽衣着检测、口罩佩戴检测等
b.  环境安全检测：火情检测、车辆检测、异常喷洒物料检测等
c.  设备维护检测：表计检测及读数、输电线路及基站本体异物检测、设备监控等

● 智慧城市领域：
a.  卫星遥感图像识别：建筑物、农作物、道路等检测、分割及变化检测及面积计算等
b.  车辆、行人、交通标示检测及计数等

● 智慧零售：商品检测、商标检测及计数

● 智慧医疗领域：CT影像分割、肺炎筛查、眼底病变筛查等

还有很多诸如预测性维护、3D仿真系统的监控、电力及物流自动调度及排程优化等应用

4. 推荐一个开源生成对抗网络套件，让父亲重返18岁！ | OpenCV中文网

传送门：
https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md

今年父亲节你为爸爸准备了什么礼物？

一位开发者为弥补爸爸没能见到爷爷最后一面的遗憾，通过飞桨生成对抗网络套件PaddleGAN复原了爷爷的动态老照片，为爸爸送上了最难忘的礼物——一场跨越时空的对视！

开发者使用飞桨PaddleGAN 的动态照片生成（人脸表情迁移）及视频超分辨率提升技术快速让每个年龄阶段的父亲照片都动了起来！当年英俊帅气的他又回来了！

想让自己的爸爸也 Get 同款感动吗？赶紧也尝试一下PaddleGAN所提供的 EDVR 视频超分与 First Order Motion 动作迁移算法吧！

5. 99行代码实现冰雪奇缘特效的「太极」再进化，胡渊鸣团队、快手等联合打造 | 机器之心

论文链接：
https://yuanming.taichi.graphics/publication/2021-quantaichi/quantaichi.pdf
项目地址：
https://yuanming.taichi.graphics/publication/2021-quantaichi/
GitHub 地址：
https://github.com/taichi-dev/quantaichi

99 行代码实现《冰雪奇缘》特效的续集来了，太极编译器再次升级。

得益于计算机仿真技术的不断发展，我们能够在电脑中重建越来越逼真的现实世界，制作出《冰雪奇缘》等优秀的特效电影。

快手、麻省理工、浙大、清华的研究者进行了物理编译器自动量化方面的研究，提出了一套用于量化模拟的新的语言抽象和编译系统——QuanTaichi。它可以使用低精度量化的数字数据类型并将其打包（packing）以表示模拟状态，从而减少了内存空间和带宽消耗。有了这项技术的加持，高精度的物理模拟只需要一块 GPU 就能实现。而在这之前，则需要4 块 NVIDIA Quadro P6000 GPU。

QuanTaichi 的实现基于 MIT CSAIL 胡渊鸣等人之前提出的「太极（Taichi）」编程语言和编译器，使开发人员可以轻松地在不同的全精度和量化模拟器之间进行切换，以探索最佳的量化方案，并最终在空间和精度之间取得良好的平衡。相关工作已经入选图形学顶会 SIGGRAPH 2021，也已经被合入到了太极的开源 Github 库中。

6. 东南大学提出EGVSR：4K视频实时超分辨率系统，代码已开源！ | CVer

论文：
https://arxiv.org/abs/2107.05307
代码：
https://github.com/Thmen/EGVSR

东南大学研究团队最新提出的4K实时处理超分辨率系统（EGVSR)不仅能够修复高糊画质，运行速度还比TecoGAN快9倍，代码已开源。

有没有试过辛辛苦苦拍了个视频，最后一看，竟然「真·一塌糊涂」？

问题不大！AI修复能力杠杠的！

而现在，一个能实时重建视频质量，处理速度还比主流方法快9倍的系统就摆在你眼前！

高糊视频有救啦！

东南大学研究团队最新提出了EGVSR——4K实时处理超分辨率系统！

视频超分辨率（VSR）是从图像超分辨率发展而来的，是计算机视觉领域的热门话题之一。

EGVSR总计算成本仅为VESPCN的29.57%，SOFVSR12.63%，FRVSR和TecoGAN的14.96%。

7. 水表读数自动识别，基于DB和CRNN的方法 | 一碗数据汤

租房嘛，总免不了交水电费，（废话，自己买的房子也要交水电费！），所以我们每个人可能都会遇到，查水表的情况。

尽管智能水表正在取代老式的机械水表，但在许多地区（及老小区），由于环境、成本等因素的限制，机械水表木得办法被替换，所以依旧需要人工手动抄表。

为了实现对老式机械水表的自动识别，这篇我们讲讲2020CCF训练赛的场景文字识别优质案例

基于DB和CRNN方法实现、真实场景下的水表读数自动识别。

完