Meta 推出开源 AI 音乐生成器 AudioCraft

Meta 的新型人工智能音乐生成器是该科技公司最近发布的一系列人工智能产品中的最新产品。

周三,宣布发布音频制作,一种开源生成人工智能,可以根据文本提示创建音频和音乐。 AudioCraft 拥有三种模型,用于创作音乐的 MusicGen、用于创建音效的 AudioGen 以及使用 AI 辅助进行优于 MP3 格式的音频压缩的 EnCodec。

如果您想知道版权问题,MusicGen 接受过 Meta 拥有和许可的音乐培训。

Meta 一直在积极推动将人工智能驱动的工具推向大众,与 OpenAI、谷歌和微软竞争。 7月,它发布了开源骆驼2,其 LLM(大语言模型)的最新版本。

与 OpenAI 的 GPT-4 和 Google 的 PaLM 2 不同,Llama 2 是开源的,这在相信 AI 开发透明度的开发人员和伦理学家中赢得了 Meta 点。 还有传闻称 Meta 即将推出人工智能“人”又名 Instagram、Facebook 和 WhatsApp 的聊天机器人。

可混搭光速

公告称,AudioCraft 的设计考虑了音乐家和声音设计师的需求,“提供灵感,帮助人们快速集思广益,并以新的方式迭代他们的作品”。

博客文章中的示例包括提示中的音频样本“风吹着口哨”和“带有朗朗上口的旋律、热带打击乐和欢快的节奏的流行舞曲,非常适合海滩”,这……听起来很像这些描述。

最近的生成式人工智能发展大多集中在文本和图像生成上,这是一个更简单的过程。

文本到音频是一项更复杂的任务,Meta 似乎已经解决了。 AudioCraft 使用其专有的 EnCodec 神经音频编解码器从原始信号中学习音频标记,为模型创建新的“词汇”。

然后,它根据该音频词汇训练语言模型,以便模型理解音频和文本之间的关联。 由于 AudioCraft 也是开源的,因此可以在 GitHub 上获取代码,供用户自行探索和测试。