MosaicML Pretrained Transformer - 7B Chat
MosaicML Pretrained Transformer - 7B Chat 是由 MosaicML 发布的 AI 模型,发布时间为 2023-05-05,定位为 聊天大模型,参数规模约为 67.0B,上下文长度为 2K,模型文件大小约 13.3GB,采用 CC-BY-NC 4.0 许可。
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
MPT-7B-Chat是MPT-7B系列模型中针对对话和聊天进行优化的模型。
MPT是由MosaicML推出的transformer系列大模型,其中7B是指67亿参数规模,MPT全称MosaicML Pretrained Transformer。关于MPT系列模型的完整信息参考: https://www.datalearner.com/ai-models/foundation-models/MPT
MPT-7B-Chat是一个用于生成对话的类似聊天机器人的模型。它是通过在ShareGPT-Vicuna、HC3、Alpaca、HH-RLHF和Evol-Instruct数据集上对MPT-7B进行微调而建立的。
需要注意的是,MPT-7B-Chat是MPT-7B系列中唯一一个不可商用的模型。
欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送
