AI翻唱

2023-07-31

AI翻唱——VITS

Linux

关键过程命令行

scp -P 16140 -r outputsuxingjie root@sdly.blockelite.cn:/root/vits/so-vits-svc-4.1-Stable/dataset_raw


python resample.py
python resample.py --skip_loudnorm
# 添加--skip_loudnorm跳过响度匹配步骤。
# 建议可以考虑使用专业声音处理软件如adobe audition等软件做响度匹配处理。


python preprocess_flist_config.py --speech_encoder vec768l12
python preprocess_flist_config.py --speech_encoder vec768l12 --vol_aug
# 增加--vol_aug参数，使用后训练出的模型将匹配到输入源响度，否则为训练集响度。


#在生成的config.json与diffusion.yaml修改部分参数
#【config.json】
#keep_ckpts：训练时保留最后几个模型，0为保留所有，默认只保留最后3个
#all_in_mem：加载所有数据集到内存中，某些平台的硬盘IO过于低下、同时内存容量远大于 数据集体积时可以启用
#batch_size：22，单次训练加载到GPU的数据量，调整到低于显存容量的大小即可
#vocoder_name : 选择一种声码器，默认为nsf-hifigan.
#【diffusion.yaml】
#cache_all_data：加载所有数据集到内存中，某些平台的硬盘IO过于低下、同时内存容量远大于 数据集体积时可以启用
#duration：训练时音频切片时长，可根据显存大小调整，注意，该值必须小于训练集内音频的最短时间！
#batch_size：22，单次训练加载到GPU的数据量，调整到低于显存容量的大小即可
#timesteps : 扩散模型总步数，默认为1000.
#k_step_max : 训练时可仅训练k_step_max步扩散以节约训练时间，注意，该值必须小于timesteps，0为训练整个扩散模型，注意，如果不训练整个扩散模型将无法使用仅扩散模型推理!


python preprocess_hubert_f0.py --f0_predictor dio


python train.py -c configs/config.json -m 44k
python train_diff.py -c configs/diffusion.yaml
#扩散模型，尚若需要浅扩散功能，需要训练扩散模型。
nohup python train.py -c configs/config.json -m 44k > output.log 2>&1 &
#后台运行
ps aux | grep python
kill <process_id>
#聚类模型目前可以使用gpu进行训练
python cluster/train_cluster.py --gpu


python inference_main.py -m "logs/44k/G_70400.pth" -c "configs/config.json" -n "fuhao1(Vocals).wav" -t 0 -s "outputsuxingjie"
python inference_main.py -m "logs/44k/G_70400.pth" -c "configs/config.json" -n "1_xiangyunduan_(Vocals).wav" -t 0 -s "outputsuxingjie"

Window

搭建GPU环境

配置独立显卡，安装NVIDIA Driver，安装CUDA。

搭建python环境

安装Anaconda。

# 初始化
conda init

# 添加国内镜像源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
# 以上两条是Anaconda官方库的镜像
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
# 以上是Anaconda第三方库 Conda Forge的镜像
# for linux
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
# for legacy win-64
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/peterjc123/
# 以上两条是Pytorch的Anaconda第三方镜像

# 创建python环境
conda create --name so-vits-svc python=3.8.10

# 关闭shell重启，再激活
conda activate so-vits-svc

PackagesNotFoundError: The following packages are not available from current channels的解决办法

获取项目

# 到目标路径，git或download项目
git clone https://github.com/svc-develop-team/so-vits-svc.git
cd so-vits-svc

# 升级pip
python -m pip install --upgrade pip
# 添加镜像源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip config set global.index-url http://mirrors.aliyun.com/pypi/simple
# 安装依赖
pip install -r requirements_win.txt
conda install --yes --file requirements_win.txt

处理干声

使用 Ultimate Vocal Remover，去除伴奏和和声。

去除伴奏利用 Demucs；Demucs，Vocals，1，v3 | UVR_Model_1，GPU Conversion。
利用 VR Architecture 去除和声，WINDOW SIZE：320，AGGRESSION SETTING：20，6_HP_Karaoke-UVR，GPU Conversion + VocalsOnly。

音频切片

使用 Audio Slicer，切片音频。把音频切成30s以内的片段，且去除没有人声的片段，只保留有人声的片段。

放置数据集

so-vits-svc-4.0/dataset_raw 目录下创建一个文件夹，放所有切片数据放进去，文件名就是人声名。

模型训练

将声音编码器模型放入pretrain目录下；

预训练底模文件： G_0.pth D_0.pth，放在logs/44k目录下；

扩散模型预训练底模文件： model_0.pt，放在logs/44k/diffusion目录下。

音色替换

执行推理，替换音色

人声伴奏合成

AU等工具合成

云训练平台

AutoDL云计算平台：https://www.autodl.com/console/instance/list

开源镜像平台：https://www.codewithgpu.com/image?search=RVC

JupyterLab：在AutoDL控制台点击快捷工具，直接到达。（管理终端，支持文件管理和命令行执行）

Gradio：在AutoDL控制台点击快捷工具，直接到达，或者命令行终端复制public URL到达。（可视化模型使用终端）

后台运行Python

1
2
3

nohup python xxx > output.log 2>&1 &
ps aux | grep python
kill <process_id>