The Annotated Transfomer是哈佛大学的研究人员于2018年发布的Transformer新手入门教程。这个教程从最基础的理论开始，手把手教你按照最简单的python代码实现Transformer，一经推出就广受好评。2022年，这个入门教程有了新的版本。

自从2017年，谷歌发出Attention is All You Need论文之后，Transformer架构席卷整个深度学习圈。除了在翻译质量上取得重大改进外，它还为许多其他NLP任务提供了新的架构。论文本身写得很清楚，但传统的观点是很难正确实施。

为此，哈佛大学NLP小组的Associate Professor——Alexander以逐行实现的形式呈现了Attention is All You Need论文的“注释”版本。他已经重新排序并删除了原始论文中的一些部分，并在全文中添加了评论。本文档本身就是一个notebook，应该是一个完全可用的实现。总共有400行库代码，可以在4个GPU上每秒处理27000个tokens。

这些代码需要安装PyTorch。完整的notebook也可以在github或GoogleColab上免费使用GPU。

请注意，这只是研究人员和感兴趣的开发人员的起点。这里的代码主要基于哈佛大学的OpenNMT包。

博客地址：http://nlp.seas.harvard.edu/annotated-transformer/
GitHub地址：https://github.com/harvardnlp/annotated-transformer/