Transformers

Transformers因其与序列数据的长期交互作用而闻名，并且很容易适应不同的任务，无论是自然语言处理，计算机视觉还是音频。 与卷积神经网络（CNN）不同，Transformers 可以自由地学习给定输入中的所有复杂关系，因为它们不包含任何归纳偏差inductive bias。这提高了表达能力，但对于长序列或高质量图像，在计算上不切实际。 2020年12月，Patrick Esser，Robin Rombach和BjörnOmmer，来自德国海德堡大学的AI研究人员发表了一篇关于将卷积神经网络（CNN）与Transformers 结合起来以克服产生高分辨率图像的问题的论文：Taming Transformers for High-Resolution Image Synthesis   为了提高Transformer的效率，Taming Transformer方法将CNN的感性偏置与变压器的表现力相结合。为了产生高分辨率图像，所提出的方法证明了： 他们使用VQGAN CNN来有效地学习上下文相关的视觉部件的codebook 。 利用Transformers在高分辨率图像中有效地建模其成分。  

论文 https://arxiv.org/abs/2012.09841   图5.从S-FLCKR上的语义布局生成的样本。尺寸从上到下：1280×832、1024×416和1280×240像素。放大效果最佳。在附录中可以找到较大的可视化效果，请参见图13。 图6.将滑动注意窗口方法（图3）应用于各种条件图像合成任务。上图：RIN上的图像深度，第二行：IN上的随机超分辨率，第三行和第四行：S-FLCKR上的语义合成，下图：IN上的边缘引导合成。生成的图像在368×496和1024×576之间变化，因此最好放大查看。 图11.将我们的方法与[7]的基于像素的方法进行比较。在这里，我们使用f = 16 S-FLCKR模型来获得左侧所示输入的高保真图像完成效果（一半完成效果）。对于每种条件，我们显示三个样本（顶部）和三个[7]（底部）。 图12.将我们的方法与[7]的基于像素的方法进行比较。在这里，我们使用f = 16 S-FLCKR模型来获得左侧所示输入的高保真图像完成效果（一半完成效果）。对于每种条件，我们显示三个样本（顶部）和三个[7]（底部）。 图4.我们设置中的变形金刚统一了各种各样的图像合成任务。我们展示了在...

工程 https://compvis.github.io/taming-transformers/ 论文 https://arxiv.org/abs/2012.09841 github代码 https://github.com/CompVis/taming-transformers gitee镜像 https://gitee.com/zyabo/tamingtransformers We combine the efficiancy of convolutional approaches with the expressivity of transformers by introducing a convolutional VQGAN, which learns a codebook of context-rich visual parts, whose composition is modeled with an autoregressive transformer.我们通过引入卷积VQGAN将卷积方法的有效性与变换器的表达能力结合起来，该VQGAN学习一个上下文丰富的视觉部分的码本，其组成用自回归变换器建模。 环境 A...

目前，自然语言处理中，有三种特征处理器：卷积神经网络、递归神经网络和后起之秀 Transformer。 Transformer 风头已经盖过两个前辈，它抛弃了传统的卷积神经网络和递归神经网络，整个网络结构完全是由注意力机制组成。 准确地讲，Transformer 仅由自注意力和前馈神经网络组成。 自然语言处理中的 Transformer 是一种新颖的架构，旨在解决序列到序列的任务，同时轻松处理长期依赖（long-range dependencies）问题。 Transformer 首次由论文Attention Is All You Need提出。 “Transformer 是第一个完全依赖自注意力（self-attention）来计算输入和输出的表示，而不使用序列对齐的递归神经网络或卷积神经网络的转换模型。