明敏 发自 凹非寺 量子位 | 公众号 QbitAI
AI孙燕姿这么快翻唱了这么多首歌，到底是咋实现的？
要害在于一个开源项目。
最近，这波AI翻唱趋势大火，不仅是AI孙燕姿唱的歌越来越多，AI歌手的范围也在扩展，就连制造教程都层出不穷了。
而假如在各大教程中溜达一圈后就会发现，其间的要害秘诀，仍是要靠一个名为so-vits-svc的开源项目。
它供给了一种音色替换的办法，项目在今年3月发布。
奉献成员应该大部分都来自国内，其间奉献量最高的仍是一位玩明日方舟的广西老表。
如今，项目现已中止更新了，可是星标数量还在蹭蹭上涨，现在现已到了8.4k。
所以它到底实现了哪些技能能引爆这波趋势？
一起来看。
多亏了一个开源项目
这个项目名叫SoftVC VITS Singing Voice Conversion（歌声转化）。
它供给了一种音色转化算法，采用SoftVC内容编码器提取源音频语音特征，然后将矢量直接输入VITS，中心不转化成文本，从而保留了音高和语调。
此外，还将声码器改为NSF HiFiGAN，能够解决声音中止的问题。
具体分为以下几步：
- 预练习模型
- 准备数据集
- 预处理
- 练习
- 推理
其间，预练习模型这步是要害之一，由于项目本身不供给任何音色的音频练习模型，所以假如你想要做一个新的AI歌手出来，需求自己练习模型。
而预练习模型的第一步，是准备干声，也就是无音乐的纯人声。
很多博主运用的工具都是UVR_v5.5.0。
推特博主@歸藏介绍说，在处理前最好把声音格局转成WAV格局，由于So-VITS-SVC 4.0只认这个格局，便利后面处理。
想要效果好一些，需求处理两次背景音，每次的设置不同，能最大限度提高干声质量。
得到处理好的音频后，需求进行一些预处理操作。
比方音频太长简单爆显存，需求对音频切片，推荐5-15秒或者再长一点也OK。
然后要重新采样到44100Hz和单声道，并自动将数据集划分为练习集和验证集，生成配置文件。再生成Hubert和f0。
接下来就能开端练习和推理了。
具体的过程能够移步GitHub项目页检查（指路文末）。
值得一提的是，这个项目在今年3月上线，现在奉献者有25位。从奉献用户的简介来看，很多应该都来自国内。
据说项目刚上线时也有不少漏洞并且需求编程，可是后面简直每一天都有人在更新和修补，现在的运用门槛现已降低了不少。
现在项目现已中止更新了，但仍是有一些开发者创建了新的分支，比方有人做出了支撑实时转化的客户端。
项目奉献量最多的一位开发者是Miuzarte，从简介地址判断应该来自广西。
跟着想要上手运用的人越来越多，也有不少博主推出了上手难度更低、更详细的食用指南。
歸藏推荐的办法是运用整合包来推理（运用模型）和练习，还有B站的Jack-Cui展现了Windows下的过程指南（www.bilibili.com/read/cv2237…
需求留意的是，模型练习对显卡要求仍是比较高的，显存小于6G简单出现各类问题。
Jack-Cui建议运用N卡，他用RTX 2060 S，练习自己的模型大约用了14个小时。
练习数据也同样要害，越多高质量音频，就意味着最后效果能够越好。
仍是会担心版权问题
值得一提的是，在so-vits-svc的项目主页上，着重强调了版权问题。
警告：请自行解决数据集的授权问题。因运用未经授权的数据集进行训练而产生的任何问题及其一切后果，由您自行承当责任。存储库及其维护者、svc开发团队，与生成成果无关!
这和AI画画爆火时有点类似。
由于AI生成内容的最初数据取材于人类著作，在版权方面的争辩不绝于耳。
并且跟着AI著作盛行，现已有版权方出手下架渠道上的视频了。
据了解，一首AI组成的《Heart on My Sleeve》在油管和Tik Tok上爆火，它组成了Drake和Weekend演唱的版本。
但随后，Drake和Weekend的唱片公司举世音乐将这个视频从渠道上下架了，并在声明里向潜在的仿冒者提问，“是要站在艺术家、粉丝和人类创造性表达的一边，仍是站在Deepfake、欺诈和拒付艺术家补偿的一边？”
此外，歌手Drake也在ins上对AI组成翻唱歌曲表达了不满。
而另一边，也有人挑选拥抱这项技能。
加拿大歌手Grimes表示，她愿意让他人运用自己的声音组成歌曲，可是要给她一半版权费。
GitHub地址：
github.com/svc-develop…
参阅链接：
[1]mp.weixin.qq.com/s/bXD1u6ysY…
[2]www.vulture.com/article/ai-…
—完—
