字节对编码（Byte Pair Encoder，BPE），又叫digram coding，是一种在自然语言处理领域经常使用的数据压缩算法。在GPT系列模型中都有用到。主要是将数据中最常连续出现的字节（bytes）替换成数据中没有出现的字节的方法。该算法首先由Philip Gage在1994年提出。在这篇博客中我们将简单介绍一下这个方法。
昨天，卡地夫大学的NLP研究小组CardiffNLP发布了一个全新的NLP处理Python库——TweetNLP，这是一个完全基于推文训练的NLP的Python库。它提供了一组非常实用的NLP工具，可以做推文的情感分析、emoji预测、命名实体识别等。
关注深度学习或者NLP的童鞋应该都知道openAI的GPT-3模型，这是一个非常厉害的模型，在很多任务上都取得了极其出色的成绩。然而，OpenAI的有限开放政策让这个模型的应用被限定在很窄的范围内。甚至由于大陆不在OpenAI的API开放国家，大家几乎都无法使用和体验。而五一假期期间，FaceBook的研究人员Susan Zhang等人发布了一个开源的大预言模型，其参数规模1750亿，与GPT-3几乎一样。
Python是目前最流行的编程语言，也是开放生态做得最好的编程语言之一。大多数深度学习框架、机器学习的框架都有很优秀的Python版本。这篇博客主要为大家介绍5个python生态系中解决NLP任务的框架。
使用预训练模型处理NLP任务是目前深度学习中一个非常火热的领域。本文总结了8个顶级的预训练模型，并提供了每个模型相关的资源（包括官方文档、Github代码和别人已经基于这些模型预训练好的模型等）。