来自北京大学和微软研究院的一篇论文，MusicAgent是一款基于大语言模型（LLM）为音乐创作打造的 AI 智能体，可以理解成音乐界的 AI Copilot 。

它借助了 LLM 的任务规划能力、工具选择能力 和 语言能力，当收到用户对于音乐创作的需求，可以让任务进行分解，然后对每一步选择合适的音乐创作小模型或者工具，并且整个过程可以和用户保持聊天式的交互。

即使你不需要利用它创作音乐，它这种充分利用 LLM 的自动化任务的思路还是很值得借鉴的👍🏻

----

《MusicAgent: 用大语言模型理解和创造音乐的 AI 智能体》
论文地址：https://t.co/5LHaBLVh9U
项目地址：https://t.co/6L28iSo3ew

论文摘要：

音乐处理在人工智能领域中涵盖了广泛的任务，从音乐创作（比如音色的合成）到音乐分析（比如音乐的分类）。不过，对于开发人员和音乐爱好者来说，要全面了解并运用这些技术来处理音乐可谓是一项挑战，尤其是考虑到音乐数据的多样表现形式和不同平台间模型应用的差异。为此，我们迫切需要一个系统来统筹这些众多任务，帮助使用者自动分析需求，并调用合适的工具来满足这些需求。

借鉴了大型语言模型（比如 ChatGPT）在任务自动化上的成功经验，我们研发了一个名为 MusicAgent 的系统。这个系统不仅整合了丰富的音乐相关工具，还有一个能够自主工作的流程，专门来满足用户的各种需求。具体来说，我们构建了一个工具集，里面包括了从 Hugging Face、GitHub 到 Web API 等各种来源的工具；同时，我们还设有一个由大型语言模型赋能的自主工作流程，它能够整理这些工具，自动把用户的需求分解成多个子任务，并调用相应的音乐工具来解决。

这个系统的最终目的，是让用户能够从处理音乐工具的繁琐工作中解放出来，专心致志于音乐的创作上。通过这个系统，用户可以轻松地将各种工具进行搭配使用，从而享受到一个既无缝又丰富的音乐创作体验。

点击图片查看原图

点击图片查看原图

点击图片查看原图

点击图片查看原图