DUSt3R 图生模型 代码使用流程

1、创建虚拟环境

1、创建：conda create -n dust3r python=3.11 cmake=3.14.0

2、激活：conda activate dust3r

2、安装对应的 pytorch、CUDA

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

3、克隆源代码后，进入代码目录，安装必须依赖

4、（可选）依赖安装：支持 HEIC images

Optional: you can also install additional packages to:

• add support for HEIC images

pip install -r requirements_optional.txt

5、（可选）依赖安装：RoPE

单独下载 croco 代码，放入源代码对应的 croco 目录下：

DUST3R relies on RoPE positional embeddings for which you can compile some cuda kernels for faster runtime.

cd croco/models/curope/
python setup.py build_ext --inplace
cd …/…/…/

6、下载模型

1、源代码根目录下新建 checkpoints 文件夹

2、下载模型，将下载后的模型放入 checkpoints 目录下

模型地址：https://download.europe.naverlabs.com/ComputerVision/DUSt3R/DUSt3R_ViTLarge_BaseDecoder_512_dpt.pth

7、vscode 打开源码，选择环境后，运行 demo

python demo.py --weights checkpoints/DUSt3R_ViTLarge_BaseDecoder_512_dpt.pth

运行后，打开网页：

上传图片后就可以进行 图生三维模型了。