Attention Is All You Need

作者

Ashish Vaswani、Noam Shazeer、Niki Parmar、et al.

发表

NeurIPS · 2017

类型

论文

评分

★★★★★

链接

原始来源 ↗

DOI

10.48550/arXiv.1706.03762 ↗

摘要

提出完全基于注意力机制的 Transformer 架构，摒弃循环与卷积，在翻译任务上同时取得更高质量与更强并行性。

研究问题

序列建模能否完全不依赖递归结构，仅靠注意力机制捕获全局依赖？

方法

自注意力 + 多头注意力 + 位置编码的编码器-解码器结构。

关键发现

注意力权重本身提供了某种可解释的依赖视图；并行化带来的训练效率提升与效果提升同样重要。

我的解释

八年后再读，最被低估的不是注意力本身，而是”为并行硬件设计架构”这一工程直觉——它与精益思想里”为流动而设计”异曲同工。

我的质疑

位置编码作为事后的归纳偏置补丁，是否说明架构对”顺序”的理解仍然是外来的？相关工作见站内文章 LLM 时代的知识工程。