Explore the latest AI and LLM news and technical articles, covering original content and practical cases in machine learning, deep learning, and natural language processing.
当谈及人工智能的巨大进步，大模型的崛起无疑是其中的一个重要里程碑。这些大模型，如GPT-3，已经展现出令人惊叹的语言生成和理解能力，但是为了让它们在特定任务上发挥最佳性能，大模型微调（Fine-tuning）是一种非常优秀的方法。微调是一种将预训练的大型模型进一步优化，以适应特定任务或领域的过程。但微调并不是很简单，今天吴恩达联合Lamini推出了全新的大模型微调短课《Finetuning Large Language Models》。
最近一段时间，很多人普遍反映GPT-4变得懒散和愚笨，很多此前可以回答的问题在最近一段时间都无法回答，或者回答比较简单。为此，OpenAI官方也在前几天发布信息说的确收到了这样的信息，但是模型并没有在最近一个多月更新过，所以他们也在好奇是什么原因。而今天的一些测试表明，GPT-4模型会像人一样在不同的时间段有不同的效率。
对于刚接触使用Python的同学来说，Python强大的生态与优秀的开源工具应该印象十分深刻。同时对于一些已经在使用Python解决问题的童鞋来说，使用pip来安装一些别人提供的工具应该已经熟悉了。当然，也有一些同学应该也听说可以使用conda来安装一些第三方的开源包。那么，python的包管理工具pip是一个什么样的东西？conda作为一个替代者或者补充，与pip有什么区别，二者分布适合什么情况下使用呢？本文将根据我的个人经验与观点为大家做一个简单的说明。
AI模型的发展速度令人惊讶，几乎每天都会有新的模型发布。而2023年4月中旬也有很多新的模型发布，我们挑出几个重点给大家介绍一下。
在大语言模型中，上下文长度是指模型可以考虑的输入数据的数量。更长的上下文在大语言模型的实际应用中有非常重要的价值。当前，让大语言模型支持更长的上下文有两种常用的方法，一种是训练支持更长上下文长度的模型，扩展模型的输入，另外一种是检索增强生成的方法（Retrieval Augmentation Generation，RAG）。但二者应该如何选择，这是一个很少能直接比较的问题。为此，英伟达（Nvidia）的研究人员做了一个详细的比较。
RWKV是一个结合了RNN与Transformer双重优点的模型架构。由香港大学物理系毕业的彭博首次提出。简单来说，RWKV是一个RNN架构的模型，但是可以像transformer一样高效训练。今天，HuggingFace官方宣布在transformers库中首次引入RNN这样的模型，足见RWKV模型的价值。
决定向量检索准确性的核心是向量大模型的能力，即文本转成embedding向量是否准确。今天，OpenAI宣布了他们第三代向量大模型text-embedding，模型能力增强的同时价格下降！
5月4日，网络流传了一个所谓Google内部人员写的内部信，表达了Google和OpenAI这样的公司可能并不能在AI领域获得胜利的焦虑。里面说明了开源的AI模型发展迅速，不管是Google还是OpenAI都没有很好的护城河。
前段时间，康奈尔大学开源了LLMTune框架（https://www.datalearner.com/blog/1051684078977779 ），这是一个可以在48G显存的显卡上微调650亿参数的LLaMA模型的框架，不过它们采用的方法是将650亿参数的LLaMA模型进行4bit量化之后进行微调的。今天华盛顿大学的NLP小组则提出了QLoRA方法，依然是支持在48G显存的显卡上微调650亿参数的LLaMA模型，不过根据论文的描述，基于QLoRA方法微调的模型结果性能基本没有损失！
Awesome ChatGPT Prompts是由JavaScript开发者Fatih Kadir Akın创建的一个网站和应用，里面收集了160多个关于ChatGPT的Prompt模板，可以让ChatGPT变成Linux终端、JavaScript控制台、Excel页面等。这些Prompts收集自优秀的实践案例。
红黑树（Red-Black Tree）也是一种自平衡二叉查找树，与AVL不同的是它依靠节点颜色来维护树的平衡，在自平衡操作的时候，依赖变色和旋转两种操作来进行。
