Original AI Tech Blogs

在程序设计和编程中，我们经常会看到关于时间复杂度的讨论。比如为什么A方法比B方法好？是因为A方法的时间复杂度低。那么，这里的时间复杂度如何去理解，又怎么计算呢？常见的O(n)的含义是什么？本文将简单的解释这个概念。

WizardLM是微软联合北京大学开源的一个大语言模型。此前，发布的WizardLM和WizardCoder都是业界开源领域最强的大模型。其中，前者是针对指令优化的大模型，而后者则是针对编程优化的大模型。而此次WizardMath则是他们发布的第三个大模型系列，主要是针对数学推理优化的大模型。在GSM8K的评测上，WizardMath得分超过了ChatGPT-3.5、Claude Instant-1等闭源商业模型，得分十分逆天！

今天，一位年仅20岁的小哥willdepue 开源了230万arXiv论文的标题和摘要的embedding向量数据集，完全开源。该数据集包含截止2023年5月4日的所有arXiv上的论文标题和摘要的embedding结果，使用的是开源的Instructor XL抽取。未来将开放更多其它相关数据的embedding结果

今晚已经是本周的最后一天了，最近的一些深度学习算法方面的进展做个总结吧，感觉都是挺不错的，供大家参考。

尽管当前ChatGPT和GPT-4非常火热，但是高昂的训练成本和部署成本其实导致大部分个人、学术工作者以及中小企业难以去开发自己的模型。使得使用OpenAI的官方服务几乎成为了一种无可替代的选择。本文介绍的是一种低成本开发高效ChatGPT的思路，我认为它适合一些科研机构去做，也适合中小企业创新的方式。这里提到的思路涉及了一些最近发表的成果和业界的一些实践产出，大家可以参考！

Bloomberg在2022年4月开源了Memray，这是一个Python的内存分析器。它可以跟踪Python代码、本地扩展模块和Python解释器本身的内存分配情况。可以看numpy和pandas的运行内存使用。

正则化是一种基本技术，通过限制模型的复杂性来防止过度拟合并提高泛化性能。目前的深度网络严重依赖正则化器，如数据增强（DA）或权重衰减，并采用结构风险最小化，即交叉验证，以选择最佳的正则化超参数。然而，正则化和数据增强对模型的影响也不一定总是好的。来自Meta AI研究人员最新的论文发现，正则化是否有效与类别高度相关。

谷歌在几个小时前发布了Gemini大模型，号称历史最强的大模型。这是一系列的多模态的大模型，在各项评分中超过了GPT-4V，可能是目前最强的模型。

刚刚，吴恩达宣布deeplearning.ai 与 Cohere 合作推出了一个新课程：“Large Language Models with Semantic Search”。这个课程主要教授大家如何使用LLMs进行语义搜索，还提供了大量实践经验，来克服搜索结果和准确性等挑战。

在最新的OpenAI官方接口文档中，新增了top_logprobs和logprobs这2个参数。这2个参数是一起配合使用的。后者是一个布尔类型，表明模型的返回结果中是否增加输出每个token的概率，而top_logprobs参数是一个整数类型，取值范围是0-5之间。如果top_logprobs设置为true，那么模型会根据top_logprobs的设置结果，返回输出结果中每个token及其后续的n个单词的概率。

文本embedding是当前大模型应用中一个十分重要的角色。在长上下文支持、私有数据问答等方面有非常重要的应用。但是相比较开源领域快速发布的大模型节奏，开源的embedding模型和数据却非常少。今天，GPT4All宣布在其软件中增加embedding的支持，这是一个完全免费且可商用的产品，最重要的是可以在我们本地用CPU来做推理。

Qwen系列大语言模型是阿里巴巴开源的大语言模型。最早的Qwen模型在2023年8月份开源，当时只有70亿参数规模模型，随后阿里巴巴不断开源新的模型，最高参数规模达到了700亿，版本也从1.0升级到2024年3月份的1.5，再到今天发布的Qwen2系列。Qwen已经开源了几十个不同参数规模的大模型。此次发布的Qwen2.0系列不仅在评测任务上超过了现有的开源模型，也在实际应用中有非常好的表现。

今天，MistralAI官方正式官宣了这个模型，并在HuggingFace上上架了两个不同的版本，一个是预训练基础模型Mixtral 8x22B，另一个则是指令优化的版本Mixtral-8x22B-Instruct。同时官网发布了博客介绍这个全新的大模型，并披露了更加详细的结果。

OpenAI的开发者日发布了许多更新。其中，普通用户可以微调GPT-4是非常值得期待的功能之一。但是，OpenAI还有一个针对企业的定制化GPT-4的训练服务，称为Custom Models。而这项为企业单独定制的GPT-4训练服务最新截图显示，需要几个月来训练模型，而且费用是200-300万美元起步！

大模型的推理速度是当前制约大模型应用的一个非常重要的问题。在很多的应用场景中（如复杂的接口调用、很多信息处理）的场景，更快的大模型响应速度通常意味着更好的体验。但是，在实际中我们可用的场景下，大多数大语言模型的推理速度都非常有限。慢的有每秒30个tokens，快的一般也不会超过每秒100个tokens。而最近，美国加州一家企业Groq推出了他们的大模型服务，可以达到每秒接近500个tokens的响应速度，非常震撼。

检索增强生成（Retrieval-augmented Generation，RAG）是一种结合了检索和大模型生成的方法。它从一个大型知识库中检索与输入相关的信息，然后利用这些信息作为上下文和问题一起输入给大语言模型，并让大语言模型基于这些信息生成答案的方式。检索增强生成可以让大语言模型与最新的外部数据或者知识连接，进而可以基于最新的知识和数据回答问题。尽管检索增强生成是一种很好的补充方法，但是，如果文档切分有问题、检索不准确，结果也是不好的。

大模型微调依然是针对大量私有数据或者特定领域不可缺少的方法。就在前不久，LightningAI发布了一个轻量级大模型微调库Lit-Parrot，仅需一行代码即可微调当前开源大模型。

Alan D Thompson博士总结的，截至2022年4月份全球大语言模型一览图。

Sebastian Raschka是LightningAI的首席科学家，也是前威斯康星大学麦迪逊分校的统计学助理教授。他在大模型领域有非常深的简介，也贡献了许多有价值的内容。在最新的一期统计中，他总结了6种大模型的使用方法，引起了广泛的讨论。其中，关于使用领域数据集做无监督预训练是目前讨论较少，但十分重要的一个方向。

重磅福利，斯坦福大学在去年秋季开设了应该是全球第一个transformers相关的课程，授课人员来自OpenAI、Google Brain、Facebook人工智能实验室、DeepMind甚至是牛津大学的业界与学术界的一线大牛。而这两天，这门课相关视频也都公开了，大家可以去观看学习了！

零一万物（01.AI）是由李开复在2023年3月份创办的一家大模型创业企业，并在2023年6月份正式开始运营。在2023年11月6日，零一万物开源了4个大语言模型，包括Yi-6B、Yi-6B-200K、Yi-34B、Yi-34B-200k。模型在MMLU的评分上登顶，最高支持200K超长上下文输入，获得了社区的广泛关注。