数据学习
登录
注册
原创博客
期刊会议
学术世界
期刊出版社
领域期刊
SCI/SCIE/SSCI/EI简介
期刊列表
会议列表
所有期刊分区
学术期刊信息检索
JCR期刊分区查询
CiteScore期刊分区查询
中科院期刊分区查询
领域期刊分区
管理 - UTD24期刊列表
管理 - AJG（ABS）期刊星级查询
管理 - FMS推荐期刊列表
计算机 - CCF推荐期刊会议列表
高校期刊分区
南大核心（CSSCI）
合工大小核心
合工大大核心
AI资源仓库
AI领域与任务
AI研究机构
AI学术期刊
AI论文快讯
AI预训练模型
AI数据集
AI开源工具
数据推荐
网址导航
我的网址导航
程序员必备网站
好东西！Transformer入门神作手把手按行实现Transformer教程The Annotated Transformer2022版本来袭
标签：
#transformer#
#教程#
时间：2022/11/05 20:02:14
作者：小木
The Annotated Transfomer是哈佛大学的研究人员于2018年发布的Transformer新手入门教程。这个教程从最基础的理论开始，手把手教你按照最简单的python代码实现Transformer，一经推出就广受好评。2022年，这个入门教程有了新的版本。 自从2017年，谷歌发出Attention is All You Need论文之后，Transformer架构席卷整个深度学习圈。除了在翻译质量上取得重大改进外，它还为许多其他NLP任务提供了新的架构。论文本身写得很清楚，但传统的观点是很难正确实施。 <center></center> <center></center> 为此，哈佛大学NLP小组的Associate Professor——Alexander以逐行实现的形式呈现了Attention is All You Need论文的“注释”版本。他已经重新排序并删除了原始论文中的一些部分，并在全文中添加了评论。本文档本身就是一个notebook，应该是一个完全可用的实现。总共有400行库代码，可以在4个GPU上每秒处理27000个tokens。 这些代码需要安装PyTorch。完整的notebook也可以在github或GoogleColab上免费使用GPU。 请注意，这只是研究人员和感兴趣的开发人员的起点。这里的代码主要基于哈佛大学的OpenNMT包。 博客地址：http://nlp.seas.harvard.edu/annotated-transformer/ GitHub地址：https://github.com/harvardnlp/annotated-transformer/
相关博客
最热博客