1.1 语言模型

语言模型是一种用来计算和预测一段文本概率的模型。这种模型可以根据前面的词来预测下一个词，因此在自然语言处理中有着广泛的应用。

1.2 词嵌入

词嵌入是一种将词语转换为实数向量的技术。这种向量可以捕捉到词语的语义信息，使得语义相近的词语在向量空间中的距离也相近。

第二章：深度学习相关名词

2.1 深度学习

深度学习是机器学习的一个分支，它模仿人脑神经网络的工作方式，通过多层神经网络进行学习和预测。

2.2 神经网络

神经网络是深度学习的基础，它由多个神经元组成，每个神经元都可以处理一部分信息，然后将处理结果传递给下一层神经元。

2.3 循环神经网络

循环神经网络是一种特殊的神经网络，它可以处理序列数据，如文本和语音等。

2.4 长短期记忆网络

长短期记忆网络是循环神经网络的一种，它可以解决长序列数据中的长期依赖问题。

第三章：自注意力机制与Transformer

3.1 自注意力机制

自注意力机制是一种计算序列内部元素之间关系的方式，它可以捕捉到长距离的依赖关系。

3.2 Transformer

Transformer是一种基于自注意力机制的模型结构，它在自然语言处理任务中表现出了优秀的性能。

第四章：BERT与GPT

4.1 BERT

BERT是一种预训练的大语言模型，它通过预训练和微调的方式，可以在各种自然语言处理任务中取得优秀的性能。

4.2 GPT

GPT也是一种预训练的大语言模型，它与BERT的主要区别在于预训练方式和模型结构。GPT使用了Transformer的解码器结构，而BERT使用了编码器结构。