复现论文

以原始LoRA论文为例

目录

• 在本地复现

在本地复现

首先创建虚拟环境。虚拟环境之间，以及虚拟环境与全局环境之间是相互隔离的，所以我们在虚拟环境中安装包并不会影响到其他的环境

• 打开Anaconda Prompt，输入conda create -n test python=3.12.9创建一个名为test，Python解释器版本为3.12.9的虚拟环境
• 安装Pytorch，打开Pytorch下载网址，
  将上图给出的run this command输入到Anaconda Prompt中即可

然后在github上将所有文件的压缩包全部下载下来，并打开github的README.md文件，可以知道让我去用NLG文件夹中的代码，我们再打开NLG文件夹中的README.md，按照上面的指示即可。下面是一些trick/遇到的问题

• docker run -it nvcr.io/nvidia/pytorch:20.03-py3这个没必要用，因为我们已经装好了Pytorch了

• sudo apt-get update
  sudo apt-get -y install git jq virtualenv
  git clone https://github.com/microsoft/LoRA.git; cd LoRA
  virtualenv -p `which python3` ./venv
  . ./venv/bin/activate
  pip install -r requirement.txt
  bash download_pretrained_checkpoints.sh
  bash create_datasets.sh
  cd ./eval
  bash download_evalscript.sh
  cd ..
  

  上面指令的

  sudo apt-get update
  sudo apt-get -y install git jq virtualenv
  git clone https://github.com/microsoft/LoRA.git; cd LoRA
  virtualenv -p `which python3` ./venv
  . ./venv/bin/activate
  

  都不用运行，这就是在创建虚拟环境
  • requirement.txt里面的文件就是我们需要额外下载的包，但是LoRA好像有点太老了，所以我们要把里面的东西一个一个安装，使用pip install即可
  • bash download_pretrained_checkpoints.sh这个要在Git Bash中运行。打开Git Bash，使用cd D:/计算机/大语言模型/论文阅读/LoRA/LoRA-main/LoRA-main/examples/NLG切换到对应目录，然后输入上述命令就好了。但是注意，download_pretrained_checkpoints.sh文件中所要下载的三个模型如果直接用Git Bash下载就非常慢，这个时候用Hugging Face镜像网站，在上面找到对应的模型，下载对应文件到pretrained_checkpoints文件夹里面即可（注意如果没有运行bash download_pretrained_checkpoints.sh这个命令的话，我们就要手动创建文件夹pretrained_checkpoints）
  • bash create_datasets.sh是用来将下载了的数据转换成模型能够读取的格式。但是不知道为什么，就是卡在这里了，一直转换不成功