AI2 Open Language Model 简介

AI2 OLMo是AI2正在创建一个开放的、最先进的生成式语言模型：AI2 OLMo（Open Language Model）。OLMo的规模将与其他最先进的大型语言模型相当，有70亿个参数，预计在2024年初推出。

OLMo将是一个独特的开放式语言模型，旨在通过提供有关模型创建的所有方面的访问和教育，造福于研究社区。AI2正在与AMD和CSC合作开发OLMo，使用全AMD处理器驱动的LUMI超级计算机的新GPU部分——这是世界上最节能的超级计算机之一。

OLMo将为许多AI研究社区的人员首次直接处理语言模型提供新的途径。我们将使OLMo项目的所有元素都可访问——不仅我们的数据可用，用于创建数据的代码也可用。我们将开源模型、训练代码、训练曲线和评估基准。我们还将公开分享和讨论有关创建这个模型的伦理和教育考虑，以帮助指导语言建模技术的理解和负责任的发展。