青岛seo推广李飞飞_李飞飞新论文深度进修代码搜索综述Adobe用GAN生成动画

来源：机器之心

本文约3200字，建议阅读7分钟。

本文先容了李飞飞新论文，深度学习代码搜索综述，Adobe用GAN天生动画。

本周有李飞飞、朱玉可等的图像因果推理和吴恩达等的 NGBoost 新论文，同时还有第一个深度学习代码搜索综述论文、Adobe 用 GAN 天生角色的动画、Facebook 和 HuggingFace 推出的新代码库等。

目录：

论文 1：SummAE: Zero-Shot Abstractive Text Summarization using Length-Agnostic Auto-Encoders

择要：传统的序列到序列自编码器无法天生效果好的择要，也无法描述特定的架构选择和预演习如何显著提升性能以及是否优于提取基线（extractive baseline）。
在本篇论文中，谷歌大脑和 MIT 打算机科学与人工智能实验室的研究者提出一种用于段落零样本抽象文本择要天生的端到到神经模型，并先容了一项基准测试任务 ROCSumm，它基于包含人类择要的子集 ROCStories。
在 ROCSumm 任务上，由五个句子组成的故事（段落）被总结成一个句子，并且只利用人类择要进行评估。
研究者展示了提取和人类基线的结果，显示在抽象择要天生方面存在很大的性能差异。
他们提出的模型 SummAE 包含一个去噪自编码器，它在公共空间中嵌入句子和段落，从而这些句子和段落可以进行解码。
通过从段落表征中解码句子，段落的择要得以天生。

根据给定段落（a），人类（b）、抽取式方法（c）和论文方法（d）抽取出的择要比拟。

推举：利用抽取式和天生式方法进行文本择要的算法很多，而本文是一个较为少见的零样本端到端神经网络模型。
同时，本文提出了一种评价文本择要质量的方法，是一种量化评价择要质量的标准。

论文 2：Causal Induction from Visual Observations for Goal Directed Tasks

择要：在人类和其他聪明的动物与物质天下进行交互的过程中，因果推理能力一贯不可或缺。
在本篇论文中，李飞飞、朱玉可等研究者提出授予人工智能体因果推理能力，以完成特定的任务。
他们利用基于学习的方法来天生有向无圈图格式的因果知识，这些知识可以用于将学习到的目标条件策略（goal-conditional strategy）置于语境中，从而在具有潜在因果构造的新环境中实行任务。
研究者在他们的因武断定模型和目标条件策略中利用到了把稳力机制，从而可以逐渐从智能体的目视不雅观察（visual observation）中天生越来越多的因果图，并在行动决策中有选择性地利用这些天生的因果图。
实验结果表明，这种基于学习的方法可以有效地在具有未知因果构造的新环境中完成新任务。

进行因果推理过程的图示。

迭代式因果推理网络图示。

推举：让机器从输入中得到因果信息是一个比来兴起的研究领域，而通过图像信息获取因果关系的研究较为少见。
本文作者是斯坦福大学的李飞飞和朱玉可等，是一篇探索图像数据和因果推理的新论文。

论文 3：When Deep Learning Met Code Search

择要：比来，关于利用深度神经网络来进行自然措辞代码搜索涌现了很多建议，个中共同的不雅观点是将代码和自然措辞查询嵌入到实向量中，然后利用向量距来近似代码和查询之间的语义关联。
学习这些嵌入的方法有很多，个中包括仅依赖代码实例语料库的无监督方法以及利用成对代码和自然措辞描述对齐语料库的监督方法。
在本篇论文中，MIT 打算机科学与人工智能实验室、Facebook 和加州大学伯克利分校电气工程与打算机科学系的研究者对这些无监督和监督方法进行了评估，结果如下：将监督方法领悟现有无监督方法中可以提升性能，只管必要性不大；代码搜索中，大略的监督网络较基于序列的更繁芜网络更加有效；虽然利用文档字符串进行监督是常见的做法，但文档字符串与更适宜查询的监督语料库的有效性存在巨大差异。

利用神经网络进行代码搜索的流程图示。

推举：自然措辞代码搜索是比来 NLP 研究中的一个重点领域，只管已有很多事情取得了进展，但目前仍没有能够全面总结这一领域事情的综述。
据本文作者称，这是第一篇对这一任务下的事情进行总结的论文，值得感兴趣的读者朋友阅读。

论文 4：Neural Puppet: Generative Layered Cartoon Characters

择要：近日，Adobe 和康奈尔大学的研究职员提出一种基于学习的方法，该方法可基于卡通角色的少量图像样本天生新动画。
传统动画的每一帧都由艺术家绘制完成，因而输入图像缺少共同构造、配准或标签。
研究职员将动画角色的姿势变革演绎为一个层级 2.5D 模板网格的变形，并设计了一种新型架构，来学习预测能够匹配模板和目标图像的网格变形。
这使得研究职员可从多样化的角色姿势凑集中抽象出一种共同的低维构造。
研究者将可微渲染和网格感知（mesh-aware）模型的近期进展结合起来，成功地对齐通用模板，纵然演习期间只有少量卡通角色图像也能实现。
除了粗糙的姿势，卡通角色的外不雅观也会由于阴影、离面运动（out-of-plane motion）和图片艺术效果而呈现细微的差异。
研究职员利用图像平移网络（image translation network）捕捉这些细微变革，以改进网格渲染结果，为天生高质量卡通角色新动画供应了一个端到真个模型。
该研究提出的天生模型可用于合成中间帧，创建数据驱动的变形。
其模板拟合（template fitting）步骤在检测图像配准方面的效果明显优于当前的最优通用技能。

演习网络用于天生角色动画的流程。

利用模型对角色图片进行处理后，天生动画的效果展示。

推举：动画事情者的福音？本文是康奈尔大学和 Adobe 的一项事情，只需几张图片就可以天生角色的动画。
从效果来看可以帮助动画原画师省去一些事情。

论文 5：TorchBeast: A PyTorch Platform for Distributed RL

择要：TorchBeast 是 PyTorch 上用于强化学习的平台。
通过实现盛行的 Impala 算法（个中一个版本），TorchBeast 可以对强化学习智能体进行快速、异步和并行演习。
此外，TorchBeast 将朴素简洁作为自身明确的设计目标：供应纯 Python 实现版本（MonoBeast）和多机高性能版本（PolyBeast）。
就 PolyBeast 版本而言，部分实现由 C++措辞编写，但所有与机器学习干系的部分则通过 PyTorch 保存在大略的 Python 中，并且环境通过 OpenAI Gym 界面供应。
这使得研究者无需 Python 和 PyTorch 之外的任何编程知识，即可利用 TorchBeast 进行可扩展的强化学习研究。
在本篇论文中，研究者描述了 TorchBeast 平台的设计事理和实现，表明该平台的性能在 Atari 上与 Impala 持平。

推举：本文作者来自 facebook，提出了一个新的强化学习平台，利用与 PyTorch，且可以进行快速、异步和并行演习。
对强化学习感兴趣的读者朋友可以考试测验下。

论文 6：NGBoost: Natural Gradient Boosting for Probabilistic Prediction

择要：研究者提出一种名为自然梯度提升机（NGBoost）。
这是一种通用式的、将概率预测带入梯度提升中的方法。
对不愿定性进行预测在许多领域中都十分主要，如医学和蔼象预报。
而概率预测——利用模型对全体输出空间进行概率分布的输出，是一种自然的量化这些不愿定性的方法。
梯度提升机在对许多构造化数据进行预测上取得了成功，但是一个大略的对真值输出进行概率预测的提升策略至今没有成功。
NGBoost 则是一种利用自然梯度的方法，可以办理通用概率预测和现有梯度提升方法不兼容的问题。
研究者提出的方法是组成式的，根据选择的基本学习器、概率分布和打分规则决定。
研究者在多个回归数据集上进行了实验，解释 NGBoost 在对不愿定性进行估计和传统评估计算上有着很好的预测表现。

NGBoost 的紧张架构。

NGBoost 算法伪代码。

推举：本文作者为吴恩达等，对付梯度提升机进行了进一步改进，使其可以对不愿定性进行估计，这是一种新颖的算法结合的方法。

论文 7：Transformers: State-of-the-art Natural Language Processing

择要：比来，基于 Transformer 架构的预演习措辞模型在自然措辞处理任务上取得了很好的效果。
然而，这些模型对付研究者来说利用非常困难，须要针对每个模型的开源代码进行重新开拓，使其能够被用于实际的事情中。
本文提出了一个名为 Transformer 的项目，这是一个有着自然缘故原由处理 SOTA 预演习模型的代码库，利用同一的 API，能够和 TensorFlow2.0 和 Pytorch 无缝结合利用。

推举：还在为各种各样的开源预演习措辞模型的代码发愁？HuggingFace 公司提出了一个统一的 Transformer 代码库，开拓者可以根据须要选择措辞模型进行微调。
这一代码库还可以无缝和 TensorFlow、PyTorch 结合利用。

编辑：于腾凯

校正：林亦霖

— 完 —

关注清华-青岛数据科学研究院官方微信"大众年夜众平台“THU数据派”及姊妹号“数据派THU”获取更多讲座福利及优质内容。