LM-SYS

大型模型系统组织（全称Large Model Systems Organization，LMSYS Org）是由加利福尼亚大学伯克利分校的学生和教师与加州大学圣地亚哥分校以及卡内基梅隆大学合作共同创立的开放式研究组织。该团队在2023年3月份成立，目前的工作是建立大模型的系统，是聊天机器人Vicuna的发布团队。

LM-SYS的目标是通过共同开发开放模型、数据集、系统和评估工具，使大型模型对所有人都可访问。他们的工作涵盖了机器学习和系统的研究。同时，该组织还训练大型语言模型并广泛提供它们，同时也开发分布式系统来加速它们的训练和推理过程。

其中最著名的成果是Vicuna系列开源大模型，以及基于人类真实投票反馈的大模型竞技场排行（Chatbot Arena）。

随着LLM-SYS的发展和壮大，目前该组织已经有了非常多的成果和项目。主要包括：

• Vicuna系列大语言模型：Vicuna系列大语言模型是基于LLaMA系列基础模型进行微调后得到的大语言模型。通过采集用户分享的大模型对话历史，Vicuna获得了非常好的效果提升，在各项评测中都有非常好的效果。参考： https://www.datalearner.com/blog/1051691043258851 
• Chatbot Arena：即著名的大模型竞技场，为了更好地评估大语言模型的效果。也为了避免大模型在评测数据集上获得的有偏差的结果。LM-SYS发布了大模型匿名竞技场。即用户可以通过发送一个问题获得一个或者多个模型的回复。用户可以根据回复结果进行投票以获得大家在不同问题上对不同模型答案的偏好。以此来测试模型之间的好坏。这是一种众包评分系统，包含了非常多流行和经典的模型，在大模型评测中非常有影响力。该系统也从LM-SYS官网前往了HuggingFace。
• MT-Bench：MT-Bench是由LM-SYS开发的著名的大模型评估基准工具。通过使用最强的模型如GPT-4来评估不同模型对不同有挑战问题的自动评分，获得大模型在多轮等具有挑战性的问题上的结果。该评分结果由于非常接近人类偏好也具有非常好的知名度。
• SGLang：LM-SYS最新推出的一个非常高效的大模型推理框架，可以用来加速大模型的推理过程。
• FastChat：一个综合性的大模型框架和平台，用于训练、部署和评估基于大语言模型的聊天机器人的效果。
• LMSYS-Chat-1M：LM-SYS开源的大规模数据集，包含了100多万的大模型对话数据集，来自真实世界中用户和25个不同大模型对话的历史记录。参考： https://www.datalearner.com/blog/1051695352221980 

LM-SYS官方网站： https://lmsys.org/ 

Chatbot Arena网站： https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard