ai孙燕姿这么快翻唱了这么多首歌,到底是咋实现的?
关键在于一个开源项目。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
最近,这波AI翻唱趋势大火,不仅是AI孙燕姿唱的歌越来越多,AI歌手的范围也在扩大,就连制作教程都层出不穷了。
而如果在各大教程中溜达一圈后就会发现,其中的关键秘诀,还是要靠一个名为so-vits-svc的开源项目。
它提供了一种音色替换的办法,项目在今年3月发布。
贡献成员应该大部分都来自国内,其中贡献量最高的还是一位玩明日方舟的广西老表。
如今,项目已经停止更新了,但是星标数量还在蹭蹭上涨,目前已经到了8.4k。
所以它到底实现了哪些技术能引爆这波趋势?
一起来看。
这个项目名叫SoftVC VITS Singing Voice Conversion(歌声转换)。
它提供了一种音色转换算法,采用SoftVC内容编码器提取源音频语音特征,然后将矢量直接输入VITS,中间不转换成文本,从而保留了音高和语调。
此外,还将声码器改为NSF HiFiGAN,可以解决声音中断的问题。
具体分为以下几步:
其中,预训练模型这步是关键之一,因为项目本身不提供任何音色的音频训练模型,所以如果你想要做一个新的AI歌手出来,需要自己训练模型。
而预训练模型的第一步,是准备干声,也就是无音乐的纯人声。
很多博主使用的工具都是UVR_v5.5.0。
推特博主@歸藏介绍说,在处理前最好把声音格式转成WAV格式,因为So-VITS-SVC 4.0只认这个格式,方便后面处理。
想要效果好一些,需要处理两次背景音,每次的设置不同,能最大限度提高干声质量。
得到处理好的音频后,需要进行一些预处理操作。
比如音频太长容易爆显存,需要对音频切片,推荐5-15秒或者再长一点也OK。
然后要重新采样到44100Hz和单声道,并自动将数据集划分为训练集和验证集,生成配置文件。再生成Hubert和f0。
接下来就能开始训练和推理了。
具体的步骤可以移步GitHub项目页查看(指路文末)。
值得一提的是,这个项目在今年3月上线,目前贡献者有25位。从贡献用户的简介来看,很多应该都来自国内。
据说项目刚上线时也有不少漏洞并且需要编程,但是后面几乎每一天都有人在更新和修补,现在的使用门槛已经降低了不少。
目前项目已经停止更新了,但还是有一些开发者创建了新的分支,比如有人做出了支持实时转换的客户端。
项目贡献量最多的一位开发者是Miuzarte,从简介地址判断应该来自广西。
随着想要上手使用的人越来越
多,也有不少博主推出了上手难度更低、更详细的食用指南。
歸藏推荐的方法是使用整合包来推理(使用模型)和训练,还有B站的Jack-Cui展示了Windows下的步骤指南(https://www.bilibili.com/read/cv22375562)。
需要注意的是,模型训练对显卡要求还是比较高的,显存小于6G容易出现各类问题。
Jack-Cui建议使用N卡,他用RTX 2060 S,训练自己的模型大概用了14个小时。
训练数据也同样关键,越多高质量音频,就意味着最后效果可以越好。
值得一提的是,在so-vits-svc的项目主页上,着重强调了版权问题。
警告:请自行解决数据集的授权问题。因使用未经授权的数据集进行培训而产生的任何问题及其一切后果,由您自行承担责任。存储库及其维护者、svc开发团队,与生成结果无关!
这和AI画画爆火时有点相似。
因为AI生成内容的最初数据取材于人类作品,在版权方面的争论不绝于耳。
而且随着AI作品盛行,已经有版权方出手下架平台上的视频了。
据了解,一首AI合成的《Heart on My Sleeve》在Tik Tok上爆火,它合成了Drake和Weekend演唱的版本。
但随后,Drake和Weekend的唱片公司环球音乐将这个视频从平台上下架了,并在声明里向潜在的仿冒者发问,“是要站在艺术家、粉丝和人类创造性表达的一边,还是站在Deepfake、欺诈和拒付艺术家赔偿的一边?”
此外,歌手Drake对AI合成翻唱歌曲表达了不满。
而另一边,也有人选择拥抱这项技术。
加拿大歌手Grimes表示,她愿意让别人使用自己的声音合成歌曲,但是要给她一半版权费。
GitHub地址:https://github.com/svc-develop-team/so-vits-svc
# ai
# 切片
# github
# windows
# 算法
# https
# 的是
# 自己的
# 也有
# 开源
# 站在
# 广西
# 显存
# 一提
# 新和
# 声码
相关栏目:
【
Google疑问12 】
【
Facebook疑问10 】
【
网络优化91478 】
【
技术知识72672 】
【
云计算0 】
【
GEO优化84317 】
【
优选文章0 】
【
营销推广36048 】
【
网络运营41350 】
【
案例网站102563 】
【
AI智能45237 】
相关推荐:
如何用AI一键生成求职简历?AI简历优化与制作工具推荐【干货】
Telegram与n8n集成教程:自动化AI助手构建指南
百度输入法全感官ai怎么关 百度输入法全感官皮肤关闭
AI内容审查:谷歌搜索结果是否受到人为干预?
grokai如何生成动态图表_grokai动态图表生成工具使用及数据可视化技巧
JSON Prompting: 创造爆款AI广告的秘诀和方法
雷小兔ai智能写作如何生成日记_雷小兔ai智能写作日记模板调用【步骤】
夸克AI怎样搜索医疗健康_夸克AI医疗频道与症状自查【技巧】
宝可梦化石精灵大揭秘:晶灿钻石视角下的精灵演化
Midjourney怎么用一键生成漫画_Midjourney漫画生成方法【攻略】
Microsoft Math Solver:AI数学解题神器深度评测
Replika AI:情感慰藉还是虚拟危机?深度剖析与用户反馈
利用AI自动化回复Google Voice短信:终极指南
利用 Gemini 1.5 Pro 进行超长视频摘要提取
Canva AI工具教程:动漫化图像、生成艺术与定制QR码
谷歌 Gemini AI 助手详解:功能、应用与隐私设置
Gemini手机端怎么发图片_Gemini手机端发图方法【步骤】
2025最佳AI效率工具:释放生产力,革新业务运营
AI图像识别如何减少保险欺诈和加速理赔
如何利用 ChatGPT 进行深度行业竞品分析
豆包Ai在线使用入口_豆包Ai官方网站最新登录地址
免费高效获客!ChatGPT助你快速生成潜在客户名单
tofai免费网页版入口 tofai官网手机版网站
AI助手高效获取谷歌评论:提升本地商家曝光率的终极指南
批改网AI检测工具怎样优化检测精度_批改网AI检测工具精度调节与模型选择【实操】
免费AI头像生成终极指南:逼真、个性化、无水印
豆包AI怎样生成PPT目录页_豆包AI目录自动生成与页码添加【指南】
钉钉ai划词工具怎样查看划词历史_钉钉ai划词工具历史记录查询【指南】
AdobeExpressAI智能排版怎么快速生成Logo_AdobeExpressAI智能排版Logo生成入口【步骤】
掌握这几个AI提问技巧,帮你出个性化的求职信
Pearson AI学习工具:高效提升你的数学学习效率
AI绘图软件怎么用_AI绘图软件使用方法详细指南【教程】
AI项目管理软件如何利用自然语言处理?全面解析
斑马AI能否关联学校教材_斑马AI教材同步与版本匹配【技巧】
斑马AI怎样注册账号_斑马AI注册流程与儿童信息绑定【教程】
Avokaado AI:简化合同管理和法律流程的终极指南
如何用文心一言写简历 快速生成高含金量求职简历方法
构建AI工作流:利用BuildShip低代码平台赋能Gemini和Google Cloud
SEO优化利器:利用AI提升标签的关键词密度
文心一言辅助进行行业深度研究报告撰写
如何通过豆包 AI 进行每日新闻简报的个性化定制
通义千问网页版怎么用模板_通义千问模板使用方法【方法】
海外留学资金证明:无银行流水也能成功申请签证的秘诀
服务合同模板:起草、签署和管理指南,提升业务效率
微信AI数字人能否识别语音消息_微信AI数字人语音识别与回复设置【教程】
Spin Rewriter AI:终极内容创作与SEO优化指南
Gacha Club反应视频解析:探索热门角色和独特剧情
锂提取AI工具:地热数据分析与机器学习建模深度解析
Straico团队案例研究:AI赋能,效率提升的秘诀
怎么使用网页版deepseek【教程】
2023-05-12
南京市珐之弘网络技术有限公司专注海外推广十年,是谷歌推广.Facebook广告全球合作伙伴,我们精英化的技术团队为企业提供谷歌海外推广+外贸网站建设+网站维护运营+Google SEO优化+社交营销为您提供一站式海外营销服务。