【前沿技术】超级稳定的视频卡通画方案-编程知识

【前沿技术】超级稳定的视频卡通画方案

Git clone项目到本地

git clone git@github.com:Artiprocher/DiffSynth-Studio.git

基本原理

使用了stable diffusion稳定扩散模型和controlnet来控制图像生成的轮廓，animatediff控制视频帧与帧之间的连续性，最后使用RIFE技术平滑整个生成后的视频。

创建虚拟环境并安装相关依赖

cd DiffSynth-Studio conda env create -f environment.yml

解释一下environment.yml文件内容，如果以后自己想一键构建虚拟环境并安装相关依赖，可以参考此教程

name: 指定创建的 Conda 环境的名称。
channels: 指定 Conda 频道，即从哪些地方获取软件包。defaults 是默认的 Conda 频道，你还可以添加其他频道。
dependencies: 列出项目所需的依赖包。你可以指定 Python 版本以及其他需要的包。如果使用 conda-forge 频道中的软件包，可以使用 conda-forge:: 前缀。
可以在 dependencies 下使用 pip 来指定使用 Pip 安装的软件包，例如：pip: - some_package。

创建 Conda 环境的步骤：

将上述内容保存到一个名为 environment.yml 的文件中。
打开终端或命令提示符，导航到包含 environment.yml 文件的目录。
运行以下命令创建 Conda 环境：

conda env create -f environment.yml

激活虚拟环境

conda activate DiffSynthStudio

运行项目

下载模型到本地models目录

# `models/stable_diffusion/flat2DAnimerge_v45Sharp.safetensors`: [link](https://civitai.com/api/download/models/266360?type=Model&format=SafeTensor&size=pruned&fp=fp16) 
# `models/AnimateDiff/mm_sd_v15_v2.ckpt`: [link](https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt) 
# `models/ControlNet/control_v11p_sd15_lineart.pth`: [link](https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_lineart.pth) 
# `models/ControlNet/control_v11f1e_sd15_tile.pth`: [link](https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1e_sd15_tile.pth) 
# `models/Annotators/sk_model.pth`: [link](https://huggingface.co/lllyasviel/Annotators/resolve/main/sk_model.pth) 
# `models/Annotators/sk_model2.pth`: [link](https://huggingface.co/lllyasviel/Annotators/resolve/main/sk_model2.pth) 
# `models/textual_inversion/verybadimagenegative_v1.3.pt`: [link](https://civitai.com/api/download/models/25820?type=Model&format=PickleTensor&size=full&fp=fp16) 
# `models/RIFE/flownet.pkl`: [link](https://drive.google.com/file/d/1APIzVeI-4ZZCEuIRE1m6WYfSCaOsi_7_/view?usp=sharing)