AI孙燕姿翻唱爆火,多亏这个开源项目!广西老表带头打造,上手指南已出


ai孙燕姿这么快翻唱了这么多首歌,到底是咋实现的?

关键在于一个开源项目

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

最近,这波AI翻唱趋势大火,不仅是AI孙燕姿唱的歌越来越多,AI歌手的范围也在扩大,就连制作教程都层出不穷了。

而如果在各大教程中溜达一圈后就会发现,其中的关键秘诀,还是要靠一个名为so-vits-svc的开源项目。

它提供了一种音色替换的办法,项目在今年3月发布。

贡献成员应该大部分都来自国内,其中贡献量最高的还是一位玩明日方舟的广西老表。

如今,项目已经停止更新了,但是星标数量还在蹭蹭上涨,目前已经到了8.4k。

所以它到底实现了哪些技术能引爆这波趋势?

一起来看。

多亏了一个开源项目

这个项目名叫SoftVC VITS Singing Voice Conversion(歌声转换)。

它提供了一种音色转换算法,采用SoftVC内容编码器提取源音频语音特征,然后将矢量直接输入VITS,中间不转换成文本,从而保留了音高和语调。

此外,还将声码器改为NSF HiFiGAN,可以解决声音中断的问题。

具体分为以下几步:

  • 预训练模型
  • 准备数据集
  • 预处理
  • 训练
  • 推理

其中,预训练模型这步是关键之一,因为项目本身不提供任何音色的音频训练模型,所以如果你想要做一个新的AI歌手出来,需要自己训练模型。

而预训练模型的第一步,是准备干声,也就是无音乐的纯人声。

很多博主使用的工具都是UVR_v5.5.0

推特博主@歸藏介绍说,在处理前最好把声音格式转成WAV格式,因为So-VITS-SVC 4.0只认这个格式,方便后面处理。

想要效果好一些,需要处理两次背景音,每次的设置不同,能最大限度提高干声质量。

得到处理好的音频后,需要进行一些预处理操作。

比如音频太长容易爆显存,需要对音频切片,推荐5-15秒或者再长一点也OK。

然后要重新采样到44100Hz和单声道,并自动将数据集划分为训练集和验证集,生成配置文件。再生成Hubert和f0。

接下来就能开始训练和推理了。

具体的步骤可以移步GitHub项目页查看(指路文末)

值得一提的是,这个项目在今年3月上线,目前贡献者有25位。从贡献用户的简介来看,很多应该都来自国内。

据说项目刚上线时也有不少漏洞并且需要编程,但是后面几乎每一天都有人在更新和修补,现在的使用门槛已经降低了不少。

目前项目已经停止更新了,但还是有一些开发者创建了新的分支,比如有人做出了支持实时转换的客户端。

项目贡献量最多的一位开发者是Miuzarte,从简介地址判断应该来自广西。

随着想要上手使用的人越来越多,也有不少博主推出了上手难度更低、更详细的食用指南。

歸藏推荐的方法是使用整合包来推理(使用模型)和训练,还有B站的Jack-Cui展示了Windows下的步骤指南(https://www.bilibili.com/read/cv22375562)

需要注意的是,模型训练对显卡要求还是比较高的,显存小于6G容易出现各类问题。

Jack-Cui建议使用N卡,他用RTX 2060 S,训练自己的模型大概用了14个小时

训练数据也同样关键,越多高质量音频,就意味着最后效果可以越好。

还是会担心版权问题

值得一提的是,在so-vits-svc的项目主页上,着重强调了版权问题。

警告:请自行解决数据集的授权问题。因使用未经授权的数据集进行培训而产生的任何问题及其一切后果,由您自行承担责任。存储库及其维护者、svc开发团队,与生成结果无关!

这和AI画画爆火时有点相似。

因为AI生成内容的最初数据取材于人类作品,在版权方面的争论不绝于耳。

而且随着AI作品盛行,已经有版权方出手下架平台上的视频了。

据了解,一首AI合成的《Heart on My Sleeve》在Tik Tok上爆火,它合成了Drake和Weekend演唱的版本。

但随后,Drake和Weekend的唱片公司环球音乐将这个视频从平台上下架了,并在声明里向潜在的仿冒者发问,“是要站在艺术家、粉丝和人类创造性表达的一边,还是站在Deepfake、欺诈和拒付艺术家赔偿的一边?”

此外,歌手Drake对AI合成翻唱歌曲表达了不满。

而另一边,也有人选择拥抱这项技术。

加拿大歌手Grimes表示,她愿意让别人使用自己的声音合成歌曲,但是要给她一半版权费。

GitHub地址:https://github.com/svc-develop-team/so-vits-svc


# ai  # 切片  # github  # windows  # 算法  # https  # 的是  # 自己的  # 也有  # 开源  # 站在  # 广西  # 显存  # 一提  # 新和  # 声码 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237


相关推荐: 如何用AI一键生成求职简历?AI简历优化与制作工具推荐【干货】  Telegram与n8n集成教程:自动化AI助手构建指南  百度输入法全感官ai怎么关 百度输入法全感官皮肤关闭  AI内容审查:谷歌搜索结果是否受到人为干预?  grokai如何生成动态图表_grokai动态图表生成工具使用及数据可视化技巧  JSON Prompting: 创造爆款AI广告的秘诀和方法  雷小兔ai智能写作如何生成日记_雷小兔ai智能写作日记模板调用【步骤】  夸克AI怎样搜索医疗健康_夸克AI医疗频道与症状自查【技巧】  宝可梦化石精灵大揭秘:晶灿钻石视角下的精灵演化  Midjourney怎么用一键生成漫画_Midjourney漫画生成方法【攻略】  Microsoft Math Solver:AI数学解题神器深度评测  Replika AI:情感慰藉还是虚拟危机?深度剖析与用户反馈  利用AI自动化回复Google Voice短信:终极指南  利用 Gemini 1.5 Pro 进行超长视频摘要提取  Canva AI工具教程:动漫化图像、生成艺术与定制QR码  谷歌 Gemini AI 助手详解:功能、应用与隐私设置  Gemini手机端怎么发图片_Gemini手机端发图方法【步骤】  2025最佳AI效率工具:释放生产力,革新业务运营  AI图像识别如何减少保险欺诈和加速理赔  如何利用 ChatGPT 进行深度行业竞品分析  豆包Ai在线使用入口_豆包Ai官方网站最新登录地址  免费高效获客!ChatGPT助你快速生成潜在客户名单  tofai免费网页版入口 tofai官网手机版网站  AI助手高效获取谷歌评论:提升本地商家曝光率的终极指南  批改网AI检测工具怎样优化检测精度_批改网AI检测工具精度调节与模型选择【实操】  免费AI头像生成终极指南:逼真、个性化、无水印  豆包AI怎样生成PPT目录页_豆包AI目录自动生成与页码添加【指南】  钉钉ai划词工具怎样查看划词历史_钉钉ai划词工具历史记录查询【指南】  AdobeExpressAI智能排版怎么快速生成Logo_AdobeExpressAI智能排版Logo生成入口【步骤】  掌握这几个AI提问技巧,帮你出个性化的求职信  Pearson AI学习工具:高效提升你的数学学习效率  AI绘图软件怎么用_AI绘图软件使用方法详细指南【教程】  AI项目管理软件如何利用自然语言处理?全面解析  斑马AI能否关联学校教材_斑马AI教材同步与版本匹配【技巧】  斑马AI怎样注册账号_斑马AI注册流程与儿童信息绑定【教程】  Avokaado AI:简化合同管理和法律流程的终极指南  如何用文心一言写简历 快速生成高含金量求职简历方法  构建AI工作流:利用BuildShip低代码平台赋能Gemini和Google Cloud  SEO优化利器:利用AI提升标签的关键词密度  文心一言辅助进行行业深度研究报告撰写  如何通过豆包 AI 进行每日新闻简报的个性化定制  通义千问网页版怎么用模板_通义千问模板使用方法【方法】  海外留学资金证明:无银行流水也能成功申请签证的秘诀  服务合同模板:起草、签署和管理指南,提升业务效率  微信AI数字人能否识别语音消息_微信AI数字人语音识别与回复设置【教程】  Spin Rewriter AI:终极内容创作与SEO优化指南  Gacha Club反应视频解析:探索热门角色和独特剧情  锂提取AI工具:地热数据分析与机器学习建模深度解析  Straico团队案例研究:AI赋能,效率提升的秘诀  怎么使用网页版deepseek【教程】 

 2023-05-12

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

南京市珐之弘网络技术有限公司


南京市珐之弘网络技术有限公司

南京市珐之弘网络技术有限公司专注海外推广十年,是谷歌推广.Facebook广告全球合作伙伴,我们精英化的技术团队为企业提供谷歌海外推广+外贸网站建设+网站维护运营+Google SEO优化+社交营销为您提供一站式海外营销服务。

 87067657

 13565296790

 87067657@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.