Original AI Tech Blogs

开源软件在现代互联网技术的发展中扮演者重要的作用。很多技术的进步和发展都是由开源软件推动的。而开源软件的发展离不开背后强大的开源组织的管理。本文列举最著名的五个开源组织，简述其背景，欢迎大家阅读。

Awesome ChatGPT Prompts是由JavaScript开发者Fatih Kadir Akın创建的一个网站和应用，里面收集了160多个关于ChatGPT的Prompt模板，可以让ChatGPT变成Linux终端、JavaScript控制台、Excel页面等。这些Prompts收集自优秀的实践案例。

python操作数据库

Visual Studio Code简称VS Code，是由微软开发的跨平台免费开源的源代码编辑器。相比较Eclipse、PyCharm等软件，它很轻量，并不太像一个完整的IDE（Integrated Development Environment，集成开发环境）。但是，由于其轻量、快速、第三方扩展生态强大等原因，在2015年推出之后就迅速发展成为最受欢迎的开发环境。2019年的Stack Overflow的开发者调查中名列第一，使用占比月50.7%。

5月4日，网络流传了一个所谓Google内部人员写的内部信，表达了Google和OpenAI这样的公司可能并不能在AI领域获得胜利的焦虑。里面说明了开源的AI模型发展迅速，不管是Google还是OpenAI都没有很好的护城河。

大模型已经对很多行业产生了巨大的影响，如何准确评测大模型的能力和效果，已经成为业界亟待解决的关键问题。生成式AI模型，如大型语言模型（LLMs），能够生成高质量的文本、代码、图像等内容，但其评测却相对很困难。而此前很多较早的评测也很难区分当前最优模型的能力。 以MMLU评测为例，2023年3月份，GPT-4在MMLU获得了86.4分之后，将近2年后的2024年年底，业界最好的大模型在MMLU上得分也就90.5，提升十分有限。 为此，滑铁卢大学、多伦多大学和卡耐基梅隆大学的研究人员一起提出了MMLU P

Google Gemini是谷歌最新推出的和OpenAI竞争的大语言模型。尽管Gemini褒贬不一，但是Gemini模型的影响力是巨大的。而现在更加令人激动的是谷歌开源了2个新的不同参数规模的模型，分别是Gemma 7B和Gemma 2B，其技术与Gemini模型一致。但是这两个开源模型完全公开，可以商用授权。

前段时间，康奈尔大学开源了LLMTune框架（https://www.datalearner.com/blog/1051684078977779 ），这是一个可以在48G显存的显卡上微调650亿参数的LLaMA模型的框架，不过它们采用的方法是将650亿参数的LLaMA模型进行4bit量化之后进行微调的。今天华盛顿大学的NLP小组则提出了QLoRA方法，依然是支持在48G显存的显卡上微调650亿参数的LLaMA模型，不过根据论文的描述，基于QLoRA方法微调的模型结果性能基本没有损失！

Map或Hashtable的value排序

网络爬虫之基础java集合操作篇

AI模型的发展速度令人惊讶，几乎每天都会有新的模型发布。而2023年4月中旬也有很多新的模型发布，我们挑出几个重点给大家介绍一下。

对于刚接触使用Python的同学来说，Python强大的生态与优秀的开源工具应该印象十分深刻。同时对于一些已经在使用Python解决问题的童鞋来说，使用pip来安装一些别人提供的工具应该已经熟悉了。当然，也有一些同学应该也听说可以使用conda来安装一些第三方的开源包。那么，python的包管理工具pip是一个什么样的东西？conda作为一个替代者或者补充，与pip有什么区别，二者分布适合什么情况下使用呢？本文将根据我的个人经验与观点为大家做一个简单的说明。

RWKV是一个结合了RNN与Transformer双重优点的模型架构。由香港大学物理系毕业的彭博首次提出。简单来说，RWKV是一个RNN架构的模型，但是可以像transformer一样高效训练。今天，HuggingFace官方宣布在transformers库中首次引入RNN这样的模型，足见RWKV模型的价值。

为学术新人提供的学术工具列表

最近一段时间，很多人普遍反映GPT-4变得懒散和愚笨，很多此前可以回答的问题在最近一段时间都无法回答，或者回答比较简单。为此，OpenAI官方也在前几天发布信息说的确收到了这样的信息，但是模型并没有在最近一个多月更新过，所以他们也在好奇是什么原因。而今天的一些测试表明，GPT-4模型会像人一样在不同的时间段有不同的效率。

美国对华为的制裁让我们看到半导体领域核心技术国产化的重要性，尽管国内互联网发展迅速，也产生了阿里、腾讯、美团等巨头，但是底层的硬件技术依然依赖于西方国家。其实我个人觉得也不是我们多么希望自己自力更生，实在是被逼无奈，时不时断供一下，这谁能受得了。最近个人也在补充这些知识，把一些学习的这些东西记录下来，如有问题也希望大家指出。

如今，自然语言处理的预训练模型被广泛运用在各个领域。各大企业和组织都在追求各种大型的预训练模型。但是当你问我们应该使用哪一个预训练模型来解决问题的时候，通常没有统一的答案，一般来说它取决于下游的任务，也就是说需要根据任务类型来选择模型。 而谷歌认为这不是一个正确的方向，因此，本周，谷歌提出了一个新的NLP预训练模型框架——Unifying Language Learning Paradigms（简称UL2）来尝试使用一个模型解决多种任务。

前段时间，OpenAI的CEO Sam Altman与二十多位开发者一起聊了很多关于OpenAI的API和产品的规划问题。Sam Altman透露了一些非常重要的OpenAI的发展方向，包括GPT产品功能的未来规划等。目前这份原始博客内容已经应OpenAI的要求被删除，这里我们简单总结一下这些内容。