斯坦福（Stanford）最新公开了全球第一个Transformers相关的课程！

重磅福利，斯坦福大学在去年秋季开设了应该是全球第一个transformers相关的课程，授课人员来自OpenAI、Google Brain、Facebook人工智能实验室、DeepMind甚至是牛津大学的业界与学术界的一线大牛。而这两天，这门课相关视频也都公开了，大家可以去观看学习了！

不过，他们为了让大家有上课的感觉，目前只公布了第一个视频，从今天（周一）开始，每天公布一个😅。我看了一下，课程包含了transformers的基本概念，以及在NLP、CV、RL等领域的应用，十分的前沿。不过需要注意的是，官方建议需要有一定的深度学习基础（必须了解attention机制），或者你要是之前学习过斯坦福的CS224N、CS231N、CS230课程也行。

注意，目前还没有人搬到国内，需要注意自备梯子！

2017年推出以来，transformers已经彻底改变了自然语言处理（NLP）。现在，transformers在整个深度学习中找到了应用，无论是计算机视觉（CV）、强化学习（RL）、生成对抗网络（GAN）、语音甚至生物学。transformers使强大的语言模型（如GPT-3）得以创建，并在DeepMind最近的AlphaFold2中发挥了作用，该模型可以处理蛋白质折叠问题。

在这个研讨会上，斯坦福大学邀请了很多业界和学术界的大牛，教授大家transformers工作的细节，并深入研究不同种类的transformers以及它们如何应用于不同领域。斯坦福通过教师讲座、嘉宾讲座和课堂讨论的结合来实现这一目标。

目前这十次课程的内容包括：

1. Introduction to Transformers
2. Transformers in Language: GPT-3, Codex - Speaker: Mark Chen (OpenAI)
3. Applications in Vision - Speaker: Lucas Beyer (Google Brain)
4. Transformers in RL & Universal - Compute Engines - Speaker: Aditya Grover (FAIR)
5. Scaling transformers - Speaker: Barret Zoph (Google Brain) with Irwan Bello and Liam Fedus
6. Perceiver: Arbitrary IO with transformers - Speaker: Andrew Jaegle (DeepMind)
7. Self Attention & Non-Parametric Transformers - Speaker: Aidan Gomez (University of Oxford)
8. GLOM: Representing part-whole hierarchies in a neural network - Speaker: Geoffrey Hinton (UoT)
9. Interpretability with transformers - Speaker: Chris Olah (AnthropicAI)
10. Transformers for Applications in Audio, Speech and Music: From Language Modeling to Understanding to Synthesis. - Speaker: Prateek Verma (Stanford)

课程官网：https://web.stanford.edu/class/cs25/ 课程视频链接：https://www.youtube.com/watch?v=P127jhj-8-Y&list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM