“2019年10月底,法国的音乐流服务公司Deezer在GitHub上开源了一个叫spleeter的项目,利用深度学习对音乐进行音轨分离。这款软件基于TensorFlow开发,可以以Python库的形式出现,包含针对2、4和5个主干分隔的预训练模型。另外,Spleeter还支持GPU加速,如果在GPU上运行,会比实时分解速度快100倍。”

上面那段没看懂?没关系,我也不太懂。翻译成人话基本就是说:用这个spleeter,随便给我一首歌,我都能以非常快的速度把这首歌的人声和各种乐器剥离开,而且还提供了三种方式,满足你花式分离的需求:

人声/伴奏分离(两个音轨)

人声/鼓/贝斯/其他分离(四个音轨)

人声/鼓/贝斯/钢琴/其他分离器(五个音轨)‍‍

告白气球吉他谱_吉他谱c调告白气球_吉他告白气球谱子

看到这里,一些略懂唱歌的朋友可能就觉得有些惊喜了,分离人声和伴奏,不就是伴奏消音吗?以后再也不愁找不到伴奏了。是的,spleeter不仅可以消音,而且它和原理和一般的消音软件不同,效果明显要好很多。下面我们就用一首周董的《告白气球》来做个对比:

这段是用Cubase通过声道相减的方法消音得到的,还是可以听到很明显的人声,消音效果比较差:

告白气球 - Cubase消音伴奏

告白气球 cubase消音.mp3

2.5M

·

百度网盘

而用spleeter来分离,只是略有瑕疵,消音效果近乎完美,人声部分还可以听到和声:

告白气球 - Spleeter消音伴奏

告白气球 spleeter消音.mp3

2.5M

·

百度网盘

告白气球 - 周杰伦人声

告白气球 人声.mp3

2.5M

·

百度网盘

歌曲:告白气球 - 周杰伦

吉他告白气球谱子_告白气球吉他谱_吉他谱c调告白气球

网上还有人尝试了用spleeter分离一些摇滚乐,据说效果也不像分离流行歌曲那么出色,所以目前来看,spleeter的主战场应该还是流行歌曲。

作为一名古风音乐爱好者,作者迫不及待地尝试用spleeter对一些古风歌曲做了分离音轨的试验。从分离不同音源的角度来说效果稍逊,而且它有时会将一些东方民族乐器的声音分错轨道,比如会将二胡乐器声音归入人声。原因可能是官方提供的训练集中并未收录东方民乐,以至于spleeter无法正确将其归类。

不过,用户可以根据自己的需求来训练模型。官方称其使用的musDB数据集有150首左右的歌曲,这个数量大概是较为合适的样本量,过多的歌曲反而会使模型过拟合。期待一下,或许不久的将来,就会有大佬教spleeter认识中国民乐了!

下面我们再来试几首歌曲:

先分解一首左手指月,跟大家一起过一把高音的瘾,顺便把膝盖献给萨顶顶老师。(约23s开始)

左手指月 - 萨顶顶人声

左手指月 人声.mp3

1.8M

·

百度网盘

歌曲:左手指月 - 萨顶顶

吉他谱c调告白气球_告白气球吉他谱_吉他告白气球谱子

这首歌的音域横跨3个八度,最高音达到了国际谱的B5,可以看出spleeter应对超高音人声也丝毫不虚。

下面就到了陈情女孩们的福利时间了!偶像的人声就这样被轻轻松松地提取出来了呢。(约38s开始,上面说了spleeter对中国民乐器的效果不算太好,所以还是隐约能听到一些伴奏)

无羁 - 肖战 & 王一博人声

无羁 人声.mp3

10.1M

·

百度网盘

歌曲:无羁 - 肖战 & 王一博

吉他告白气球谱子_告白气球吉他谱_吉他谱c调告白气球

那么作者就又开始突发奇想了,spleeter认不认识洛天依呢?洛天依这种虚拟歌姬的声音是先对真人人声采样,再用电子音乐制作语音合成软件拼接合成,音色可谓“半人声半电子”。于是,作者满怀期待地将一首《达拉崩吧》放到了spleeter面前。(对!就是薛之谦和周深都唱过的那首二次元鬼畜歌曲!)

来听听spleeter分离后的达拉崩吧的vocal:(约10s开始)

达拉崩吧 - "人"声

达拉崩吧 人声.mp3

8.3M

·

百度网盘

歌曲:达拉崩吧 - 洛天依 & 言和

所以官方的库是可以正确识别洛天依的!而且效果非常OK,还可以听到和声!

吉他谱c调告白气球_吉他告白气球谱子_告白气球吉他谱

spleeter不仅仅是可以做消音伴奏而已,别忘了,它还有可以将音乐分成4轨和5轨的功能,这对于专业的音乐制作人来说简直是扒带神器有没有!妈妈再也不用担心我把耳朵听瞎了!

随着科技的发展,AI逐渐被运用到各个领域,包括音乐制作方面,除了这里介绍的AI分轨,还有一些人正在做AI作曲、AI编曲等方向的研究。作者去年曾在某招聘网站上看到,某大型金融集团的公司居然在招聘AI作曲和编曲。

听起来是个很有趣的研究课题,但肯定会有人和作者一样,觉得音乐作为一种艺术,是一种人类表达情感的载体,AI肯定能写出很好听的曲子是没错,但如果没有情感,音乐或许也失去了它本身的意义。不过话又说回来,研究本身的意义也并不只是为了得到结果,我们对于未知领域的探索永远是有必要的。

好啦,spleeter的测评到这里就结束啦!有感兴趣的小伙伴欢迎关注评论留言。

点赞(0)
立即
投稿
发表
评论
返回
顶部