SonicMaster:实现可控的一体化音乐修复与母带处理

发表
Dorien HerremansDorien Herremans 提交
作者: Jan Melechovsky, Ambuj Mehrish, Dorien HerremansDorien Herremans

摘要

音乐录音通常存在音频质量问题,例如过度混响、失真、削波、音调不平衡和立体声图像狭窄,尤其是在没有专业设备或专业知识的非专业环境中创建时。这些问题通常需要使用单独的专业工具和手动调整来纠正。在本文中,我们介绍了 SonicMaster,这是第一个用于音乐修复和母带处理的统一生成模型,它通过基于文本的控制解决了广泛的音频伪影。SonicMaster 以自然语言指令为条件来应用有针对性的增强功能,或者可以在自动模式下进行一般修复。为了训练这个模型,我们构建了 SonicMaster 数据集,这是一个大型的配对退化和高质量音轨数据集,通过模拟常见的退化类型,使用属于五个增强组(均衡、动态、混响、振幅和立体声)的十九个退化函数。我们的方法利用流匹配生成训练范式来学习音频转换,该转换将退化输入映射到由文本提示引导的已清理、已母带处理的版本。客观音频质量指标表明,SonicMaster 显著改善了所有伪影类别的音质。此外,主观听力测试证实听众更喜欢 SonicMaster 的增强输出而不是原始退化音频,突出了我们统一方法的有效性。项目页面:https://sonicmaster.github.io
查看 arXiv 页面查看 PDF

评论

Dorien HerremansDorien Herremans
论文作者
论文提交者

首个一体化音乐修复和母带处理模型。点击这里收听一些示例:https://amaai-lab.github.io/SonicMaster/