XVERSE-MoE-A4.2B
XVERSE-MoE-A4.2B 是由 元象XVERSE 发布的 AI 模型,发布时间为 2024-04-01,定位为 基础大模型,参数规模约为 258.0B,上下文长度为 4K,模型文件大小约 51.5GB,采用 Apache 2.0 许可。
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
XVERSE-MoE-A4.2B 是由深圳元象科技自主研发的支持多语言的大语言模型(Large Language Model),使用混合专家模型(MoE,Mixture-of-experts)架构,模型的总参数规模为 258 亿,实际激活的参数量为 42 亿,本次开源的模型为底座模型 XVERSE-MoE-A4.2B,主要特点如下:

欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送
