放大/ AI 生成的音乐爆炸图像。 （来源：Ars Technica）
周四，谷歌的研究人员宣布了一种名为MusicLM的新型生成式 AI 模型，该模型可以根据文本描述创建 24 KHz 音乐音频，例如“由失真的吉他即兴重复段支持的平静小提琴旋律”。它还可以将哼唱的旋律转换成不同的音乐风格，并输出高保真、持续数分钟的音乐。
MusicLM 使用一个 AI 模型，该模型是在谷歌所谓的“未标记音乐的大型数据集”上训练的，以及来自 MusicCaps 的字幕， MusicCaps 是一个由 5,521 个音乐文本对组成的新数据集。 MusicCaps 从人类专家那里获取文本描述，并从 Google 的AudioSet获取匹配的音频剪辑，这是一个从 YouTube 视频中提取的超过 200 万个带标签的 10 秒声音剪辑的集合。
一般来说，MusicLM 的工作主要分为两个部分：首先，它采用一系列音频标记（一段声音）并将它们映射到字幕中的语义标记（表示含义的单词）以进行训练。第二部分接收用户字幕和/或输入音频并生成声学标记（构成最终歌曲输出的声音片段）。该系统依赖于称为AudioLM的早期 AI 模型（谷歌于 9 月推出）以及其他组件，例如SoundStream和MuLan 。