大模型的发展速度很快，对于需要学习部署使用大模型的人来说，显卡是一个必不可少的资源。使用公有云租用显卡对于初学者和技术验证来说成本很划算。DataLearnerAI在此推荐一个国内的合法的按分钟计费的4090显卡公有云服务提供商仙宫云，可以按分钟租用24GB显存的4090显卡公有云实例，非常具有吸引力~
在Python工程中，我们经常可以看到带有“\_\_init\_\_.py”文件的目录，在PyCharm中，带有这个文件的目录被认为是Python的包目录，与目录的图标有不一样的显示。那么这个文件的作用是什么，我们平时如何使用呢，这篇文章将解释这个问题。
Google旗下自动驾驶公司Waymo的研究人员Mingxing Tan发现了一个可以替代Cross-Entropy Loss的新的损失函数：PolyLoss，这是发表在ICLR 22的一篇新论文。什么都不变的情况下，只需要将损失函数的代码替换成PolyLoss，那么模型在图像分类、图像检测等任务的性能就会有很好的提升！
大模型应用中一个非常重要的问题就是大模型的响应速度。尤其是作为聊天应用来说，在用户输入之后，大模型可以在多短的时间内给出回应对于用户体验来说影响巨大。这里有2个问题经常会被大家所关注，一个是大模型每秒输出多少个tokens就可以满足用户的日常聊天使用，另一个问题是单张显卡最多可以支撑多少个用户的聊天需求。在前几天的vllm meetup上，贾扬清给出了一些讨论，他认为我们目前可能高估了大模型的聊天应用成本。
ChatGPT是OpenAI提供的最强大的大模型服务。而截止目前为止，OpenAI公开的ChatGPT的订阅计划包含三个：免费版本的ChatGPT-3.5、个人用户付费订阅的ChatGPT Plus以及面向企业的企业版本。而最新的ChatGPT的API接口显示，OpenAI即将推出一个Team版本的计划，是当前ChatGPT Plus版本的升级版！
决定向量检索准确性的核心是向量大模型的能力，即文本转成embedding向量是否准确。今天，OpenAI宣布了他们第三代向量大模型text-embedding，模型能力增强的同时价格下降！
LangChain是当前大模型应用开发领域里面最火热的框架。由于其提供了丰富的数据访问接口、各种大模型的交互接口以及很多构造大模型应用所需要的方法与实践工具，受到了很多人的关注。然而，今天Hacker News上的一位开发者直接提出LangChain是一个无用的框架，引起了很多人的共鸣。很多人都表示，在实际开发中，LangChain有很多问题，可能并不适合用来做大模型应用开发。
Code Interpreter是ChatGPT官方提供的一个插件。使用这个插件之后，ChatGPT可以通过生成Python代码来解决你的问题。在上周，Code Interperter已经完全开放给所有的付费用户，在大家使用了一段时间之后，已经有很多人通过机智的prompt来获取了Code Interpreter背后的执行环境和系统prompt信息等。本文针对这些获取的信息做一个总结，供大家参考。
GPT-4 Turbo是OpenAI最新发布的号称性能超过当前GPT-4的模型。在新版本的ChatGPT中已经可以使用。而接口也在开放。除了速度和质量外，GPT-4 Turbo最吸引人的是支持128K超长上下文输入。但是，实际测试中GPT-4 Turbo对于超过73K tokens文档的理解能力急速下降。
就在刚刚，有网友发现OpenAI的官方的文档接口更新中增加了128K的超长上下文版本，命名为GPT-4-128K-Turbo！
MLPerf™是MLCommons发布的一个用来测试AI相关软硬件性能的基准测试工具。2021年12月1日， Training v1.1的结果发布，这个结果不仅展示了最新的AI相关软硬件的进展，也有一个新的现象，就是AI训练正在超越摩尔定律。本文将简要解读一下相关数据。