南京seo办事xuan南京乐识_7 Papers阿里达摩院自动驾驶新成果邱锡鹏预演习模型论文综述

参与：杜伟，楚航，罗若天

本周的主要论文有阿里达摩院在自动驾驶领域的新成果，以及复旦大学邱锡鹏教授揭橥的预演习模型综述论文。

目录：

论文 1：MIP∗ = RE

作者：Zhengfeng Ji、Anand Natarajan、Henry Yuen 等论文链接：https://arxiv.org/pdf/2001.04383.pdf

择要：这篇长达 165 页的论文所揭示的研究成果，一经发布，就在学界引发了广泛的关注，《Nature》杂志也对此进行了先容。
在该论文中，五位打算机科学家为可通过打算办法验证的知识确立了一个新的边界。
基于此，他们又为量子物理学和纯数学领域仍未得到办理的重大难题带去了答案。
这个新证明便是：在理论上，利用纠缠态量子比特（qubit）而非经典的 1 和 0 进行打算的量子打算机可用于验证非常多的问题的答案。

该证明的作者有多伦多大学的 Henry Yuen、悉尼科技大学的季铮锋（Zhengfeng Ji）、加州理工学院的 Anand Natarajan 和 Thomas Vidick 以及德克萨斯州大学奥斯汀分校的 John Wright。
这五位研究者都是打算机科学家。

本文作者、打算机科学家 Henry Yuen、Thomas Vidick、Zhengfeng Ji、Anand Natarajan 和 John Wright 互助证明了一个验证打算问题的答案的问题，却终极为数学和量子物理学领域的重大问题供应理解答。

图片来源：Lucy Reading-Ikkanda/Quanta Magazine

推举：针对这篇「不明觉厉」的 165 页长篇论文，有网友表示「现在要取得科学上的新打破，把物理与数学紧密结合形成团队进行深入研究是非常有效的一种办法。
像以前仅仅靠单打独斗的办法或者只考虑自己本学科的研究体系已经不适应当今科学发展的须要。
交叉学科的有机领悟将会带来科学大发展的新一轮机遇。
」

论文 2：Rapid online learning and robust recall in a neuromorphic olfactory circuit

作者：Nabil Imam、Thomas A. Cleland论文链接：https://www.nature.com/articles/s42256-020-0159-4

择要：近日，来自英特尔和康奈尔大学的研究者宣告，团队已经在神经形态芯片 Loihi 上成功设计了基于大脑嗅觉电路的算法，实现了在线学习和强影象力能力。
这项研究揭橥在最新一期自然杂志子刊上《Nature Machine Intelligence》上，并成为封面文章。

在该研究中，研究者展示了英特尔神经形态研究芯片 Loihi 在存在明显噪声和遮盖的情形下学习和识别危险化学品的能力。
该系统基于英特尔的神经形态研究芯片 Loihi 和 72 个化学传感器，Loihi 被编程为模拟嗅球中神经元的运作——后者是区分不同气味的大脑区域。
研究职员表示，这一系统未来可被用于监视空气中的有害物质，嗅出隐蔽的毒品或爆炸物，或帮助进行医学诊断。

论文第一作者，英特尔实验室的 Nabil Imam 和 Loihi 测试版神经芯片。
该团队正在芯片上构建算法模拟人类闻到某种气味后大脑神经网络中发生的情形。

模型架构和旗子暗记编码。

推举：由于效率颇高，Pohoiki Beach 和 Loihi 有望成为人工智能算法发展的新动力。
英特尔称，新形态的芯片可以在图像识别、自动驾驶和自动化机器人等方面带来巨大技能提升。

论文 3：Disrupting Deepfakes: Adversarial Attacks Against Conditional Image Translation Networks and Facial Manipulation Systems

择要：对抗攻击，常见于欺骗各种图像识别模型，虽然也能用于图像天生模型，但彷佛意义不是那么大。
不过如果能用在 deepfake 这类换脸模型，那就非常有前景了。
在这篇论文中，研究者正是沿着对抗攻击这条路「欺骗」deepfake 的换脸操作。

详细而言，研究者首先提出并成功运用了：可以泛化至不同类别的可迁移对抗攻击，这意味着攻击者不须要理解图像的种别；用于天生对抗网络（GAN）的对抗性演习，这是实现鲁棒性图像转换网络的第一步；在灰盒（gray-box）场景下，使输入图像变模糊可以成功地防御攻击，研究者展示了一个能够规避这种防御的攻击方法。

滋扰 deepfake 天生的流程图。
利用 I-FGSM 方法，在图像上运用一组无法觉察的噪声，之后就能成功地滋扰人脸操纵系统（StarGAN）的输出结果。

研究者提出这种对抗攻击的效果。

高斯模糊防御的成功示例。

推举：这篇波士顿大学的研究放出来没多久，就受到很多研究者的热议，在 Reddit 上也有非常多的谈论。

论文 4：ReZero is All You Need: Fast Convergence at Large Depth

择要：在本文中，为了促进深度旗子暗记传播，来自加州大学圣迭戈分校的研究者提出了 ReZero，对付将任意层初始化为恒等映射（identity map）的架构，ReZero 做了大略的变动，并在每层利用单个学得的附加参数。
他们将这种方法运用到措辞建模中，结果创造能够在 100 多个层上轻松地演习 ReZero-Transformer 网络。

当运用于 12 层的 Transformers 时，ReZero 在 enwiki8 数据集上的收敛速率提升了 56%。
除了 Transformer，ReZero 还能运用于其他残差网络，使得深度全连接网络的收敛速率提升 1,500%，在 CIFAR 10 数据集上演习的 ResNet-56 的收敛速率也提升了 32%。

ReZero 流程图。

不同形式的正则化和残差连接。
「F」表示任意层的转换，「Norm」表示正则化（如 LayerNorm 或 BatchNorm）。

用于 Transformers 的 ReZero。

推举：利用本文提出的 ReZero，研究者能够高效地演习数百层深度的 Transformers，并相信更深度的 Transformers 将有助于未来进一步的研究探索。

论文 5：Structure Aware Single-Stage 3D Object Detection from Point Cloud

择要：阿里巴巴达摩院在自动驾驶 3D 物体检测方面又有新成果发布。
达摩院一篇名为《Structure Aware Single-Stage 3D Object Detection from Point Cloud》的论文入选 CVPR 2020。

该论文提出了一个通用、高性能的检测器，首次实现 3D 物体检测精度与速率的兼得，有效提升自动驾驶系统安全性能。
该论文团队表示，「检测器是自动驾驶系统的核心组件之一，但这一领域一贯以来短缺创新和打破，这次我们提出的检测器领悟了单阶段检测器和两阶段检测器的上风，因此同时实现了 3D 检测精读和速率的提升，未来检测器的创新研究还可以办理自动驾驶家当的更多难题。
」

KITTI BEV 排行榜，达摩院位居第一。

研究者提出的方法 (玄色) 在 KITTI 数据库上的 PR Curve，个中实线为两阶段方法，虚线为单阶段方法。
可以看到我们作为单阶段方法能够达到两阶段方法才能达到的精度。

推举：研究结果显示，该检测器在 KITTI BEV（bird`s eye view）排行榜上排名第一, 检测速率达到 25FPS，同时精度也超过其他的单阶段检测器。

论文 6：Pre-trained Models for Natural Language Processing: A Survey

择要：我们知道 BERT、ALBERT、XLNet 等浩瀚精良模型，但它们之间的关系、差别、分类到底是什么样的？这还是主流模型，如果没读过详细论文，我们是很难分清楚的，对付更多的变体与扩展，基本上就无能为力了。
但近日复旦大学邱锡鹏等研究者发了一篇论文，它以两张图详细展示了预演习措辞模型的现状与分类。
复旦的这篇综述性论文非常丰富，它以 25 页的篇幅展示了预演习措辞模型的方方面面，不论是新奇的预演习任务，还是各种模型针对领域知识的扩展，我们都能快速 Get 到。

详细而言，以邱锡鹏为第一作者的研究者们对用于 NLP 的预演习模型进行了全面的回顾，文章体构造如下：首先简要先容了措辞表示学习及干系研究进展；其次从四个方面对现有 PTM 进行系统分类（Contextual、Architectures、Task Types、Extensions）；再次描述了如何将 PTM 的知识运用于下贱任务；末了展望了未来 PTM 的一些潜在发展方向。

NLP 任务的一样平常神经架构。

带有范例实例的 PTM 分类法。

具有代表性的预演习模型列表。

推举：研究者表示，本文旨在为读者理解、利用和开拓适用于不同 NLP 任务的预演习模型供应一份实用指南，这篇论文在机器学习社区上也得到了很广泛的相应。

论文 7：AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data

择要：在本文中，来自亚马逊的研究者提出了新的 AutoML 开源框架 AutoGluon-Tabular，它只须要几行 Python 代码就可以在 CSV 文件等未处理的纯属性数据集上演习高精度的机器学习模型。
与当前侧重于模型/超参数选择的 AutoML 框架不同，通过集成多个模型并将它们堆叠在多层上，AutoGluon-Tabular 取得了成功。
实现表明，本文中多个模型的多层组合能够更好地利用分配的韶光。

AutoGluon-Tabular 架构示意图。

算法 1：AutoGluon-Tabular 演习策略。

推举：文中全面的实证性评估表明，AutoGluon-Tabular 比专注于组合算法选择和超参数优化（CASH）的盛行 AutoML 框架表现出更高的准确度。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的根本上，精选本周更多主要论文，包括NLP、CV、ML领域各10篇精选，并供应音频形式的论文择要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. Stanza: A Python Natural Language Processing Toolkit for Many Human Languages. (from Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, Christopher D. Manning)

2. Recent Advances and Challenges in Task-oriented Dialog System. (from Zheng Zhang, Ryuichi Takanobu, Minlie Huang, Xiaoyan Zhu)

3. A Formal Analysis of Multimodal Referring Strategies Under Common Ground. (from Nikhil Krishnaswamy, James Pustejovsky)

4. Rethinking Batch Normalization in Transformers. (from Sheng Shen, Zhewei Yao, Amir Gholami, Michael Mahoney, Kurt Keutzer)

5. TTTTTackling WinoGrande Schemas. (from Sheng-Chieh Lin, Jheng-Hong Yang, Rodrigo Nogueira, Ming-Feng Tsai, Chuan-Ju Wang, Jimmy Li)

6. Developing a Multilingual Annotated Corpus of Misogyny and Aggression. (from Shiladitya Bhattacharya, Siddharth Singh, Ritesh Kumar, Akanksha Bansal, Akash Bhagat, Yogesh Dawer, Bornini Lahiri, Atul Kr. Ojha)

7. MixPoet: Diverse Poetry Generation via Learning Controllable Mixed Latent Space. (from Xiaoyuan Yi, Ruoyu Li, Cheng Yang, Wenhao Li, Maosong Sun)

8. Diversity, Density, and Homogeneity: Quantitative Characteristic Metrics for Text Collections. (from Yi-An Lai, Xuan Zhu, Yi Zhang, Mona Diab)

9. Word Sense Disambiguation for 158 Languages using Word Embeddings Only. (from Varvara Logacheva, Denis Teslenko, Artem Shelmanov, Steffen Remus, Dmitry Ustalov, Andrey Kutuzov, Ekaterina Artemova, Chris Biemann, Simone Paolo Ponzetto, Alexander Panchenko)

10. Utilizing Language Relatedness to improve Machine Translation: A Case Study on Languages of the Indian Subcontinent. (from Anoop Kunchukuttan, Pushpak Bhattacharyya)

10 CV Papers.mp3来自机器之心00:0021:22

本周 10 篇 CV 精选论文是：

1. Child Face Age-Progression via Deep Feature Aging. (fromDebayan Deb, Divyansh Aggarwal, Anil K. Jain)

2. Generalizing Face Representation with Unlabeled Data. (from Yichun Shi, Anil K. Jain)

3. Differential Treatment for Stuff and Things: A Simple Unsupervised Domain Adaptation Method for Semantic Segmentation. (from Zhonghao Wang, Mo Yu, Yunchao Wei, Rogerior Feris, Jinjun Xiong, Wen-mei Hwu, Thomas S. Huang, Honghui Shi)

4. Deep Affinity Net: Instance Segmentation via Affinity. (from Xingqian Xu, Mang Tik Chiu, Thomas S. Huang, Honghui Shi)

5. High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification. (from Guan'an Wang, Shuo Yang, Huanyu Liu, Zhicheng Wang, Yang Yang, Shuliang Wang, Gang Yu, ErjinZhou, Jian Sunn)

6. PointINS: Point-based Instance Segmentation. (from Lu Qi, Xiangyu Zhang, Yingcong Chen, Yukang Chen, Jian Sun, Jiaya Jia)

7. Frustratingly Simple Few-Shot Object Detection. (from Xin Wang, Thomas E. Huang, Trevor Darrell, Joseph E. Gonzalez, Fisher Y)

8. Personalized Taste and Cuisine Preference Modeling via Images. (from Nitish Nag, Bindu Rajanna, Ramesh Jain)

9. Semantic Pyramid for Image Generation. (from Assaf Shocher, Yossi Gandelsmam, Inbar Mosseri, Michal Yarom, Michal Irani, William T. Freeman, Tali Dekel)

10. Curriculum DeepSDF. (from Yueqi Duan, Haidong Zhu, He Wang, Li Yi, Ram Nevatia, Leonidas J. Guibas)

10 ML Papers.mp3来自机器之心00:0020:02

本周 10 篇 ML 精选论文是：

1. Post-Estimation Smoothing: A Simple Baseline for Learning with Side Information. (from Esther Rolf, Michael I. Jordan, Benjamin Recht)

2. Compressing deep neural networks on FPGAs to binary and ternary precision with HLS4ML. (from Giuseppe Di Guglielmo, Javier Duarte, Philip Harris, Duc Hoang, Sergo Jindariani, Edward Kreinar, Mia Liu, Vladimir Loncar, Jennifer Ngadiuba, Kevin Pedro, Maurizio Pierini, Dylan Rankin, Sheila Sagear, Sioni Summers, Nhan Tran, Zhenbin Wu)

3. Semi-supervised Disentanglement with Independent Vector Variational Autoencoders. (from Bo-Kyeong Kim, Sungjin Park, Geonmin Kim, Soo-Young Leee)

4. Tensor Graph Convolutional Networks for Multi-relational and Robust Learning. (from Vassilis N. Ioannidis, Antonio G. Marques, Georgios B. Giannakis)

5. Toward Interpretable Machine Learning: Transparent Deep Neural Networks and Beyond. (from Wojciech Samek, Grégoire Montavon, Sebastian Lapuschkin, Christopher J. Anders, Klaus-Robert Müller)

6. Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks. (from Amir Rahimi, Amirreza Shaban, Ching-An Cheng, Byron Boots, Richard Hartley)

7. Deep Multi-Agent Reinforcement Learning for Decentralized Continuous Cooperative Control. (from Christian Schroeder de Witt, Bei Peng, Pierre-Alexandre Kamienny, Philip Torr, Wendelin Böhmer, Shimon Whiteson)

8. ParKCa: Causal Inference with Partially Known Causes. (from Raquel Aoki, Martin Ester)

9. Anomalous Instance Detection in Deep Learning: A Survey. (from Saikiran Bulusu, Bhavya Kailkhura, Bo Li, Pramod K. Varshney, Dawn Song)

10. Regret Bound of Adaptive Control in Linear Quadratic Gaussian (LQG) Systems. (from Sahin Lale, Kamyar Azizzadenesheli, Babak Hassibi, Anima Anandkumar)