MusicGen

MusicGen 是 Meta 于 2023 年 6 月开源的音乐生成模型，后来与 AudioGen、EnCodec 一起收入 AudioCraft 音频生成工具库。

架构

• 单阶段生成：一个自回归 Transformer 直接生成音频 token，不需要多个级联模型。
• 音频编码：使用 32kHz 的 EnCodec 编解码器，4 个码本、每秒 50 帧，通过交错码本的方式并行预测。
• 条件输入：可以只用文字描述生成音乐，也可以额外提供一段旋律作为引导。

规格

• 尺寸：约 3 亿、15 亿和 33 亿参数，另有旋律条件版本。
• 训练数据：约 2 万小时授权音乐。
• 许可：代码为 MIT，模型权重为 CC-BY-NC 4.0，不可商用。