解决下载huggingface模型权重无法下载的问题

文章目录

  • 方法一(推荐)
  • 方法二
  • 方法三
  • 依然存在的问题

由于某些原因,huggingface的访问速度奇慢无比,对于一些模型(比如大语言模型LLM)的权重文件动辄几十上百G,如果用默认下载方式,很可能中断,这里推荐几种方式。

方法一(推荐)

使用镜像站。
我个人比较常用的是:https://hf-mirror.com/
网站地址
这里直接转载一下命令。按照这个方式下载就可以:
1.进入你的虚拟环境,输入:

pip install -U huggingface_hub

2.输入:

export HF_ENDPOINT=https://hf-mirror.com

3.如果你下载的模型是xxx,希望保存在本地的路径是yyy

huggingface-cli download --resume-download --local-dir-use-symlinks False xxx --local-dir yyy

yyy(路径)自行指定,关于xxx(模型名称)怎么确定,这里举一个例子:
在这里插入图片描述
网址中的:meta-llama/Llama-2-7b就是模型名称
再举一个例子:
https://huggingface.co/tiiuae/falcon-40b-instruct

模型名称就是tiiuae/falcon-40b-instruct

第三步的下载命令为:
huggingface-cli download --resume-download --local-dir-use-symlinks False tiiuae/falcon-40b-instruct --local-dir ./falcon-40b-instruct

huggingface-cli download --resume-download --local-dir-use-symlinks False tiiuae/falcon-40b-instruct --local-dir ./falcon-40b-instruct

一些其他的问题
有些模型是需要认证或登录的,这个时候你需要在下载命令里面包含你的个人认证密匙。
比如你想使用llama,你首先需要去meta那里申请一个账号并且认证,和你的huggingface绑定后,进行下面的步骤。
下载命令(以llama为例):

huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf

注意这个部分:

--token hf_*** 

需要把hf_***换成你自己的密匙。密匙的位置在你的个人主页下面。
在这里插入图片描述
进入settings:
在这里插入图片描述
复制你的一个token到之前的命令里面。

方法二

使用魔法。无需多言。

方法三

试试别的平台。
国内现在有modelscope社区。里面有一部分模型和数据。使用这个社区的话,代码部分也要用它的API。
https://www.modelscope.cn/
网站地址

百度的飞桨也可以找一找。还有网盘资源(可能有好心人下载好了放到百度网盘或者阿里网盘等里面)

依然存在的问题

实际下载的时候发现经常因为模型太大下载终止。有时候用镜像站也是这样,希望懂的朋友一起交流交流。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/278271.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

力扣题目学习笔记(OC + Swift) 12. 整数转罗马数字

12. 整数转罗马数字 罗马数字包含以下七种字符: I, V, X, L,C,D 和 M。 字符 数值 I 1 V 5 X 10 L 50 C 100 D 500 M 1000 例如, 罗马数字 2 写做 II ,即为两个并列的 1。12 写做 XI…

Axure动态面板的应用与ERP系统登录界面、主页左侧菜单栏、公告栏的绘制

目录 一、动态面板 1.1 简介 1.2 使用动态面板的原因 二、动态面板之轮播图实现案例 2.1 完成步骤 2.2 最终效果 三、动态面版之多方式登录案例 四、动态面板之后台主界面左侧菜单栏 五、ERP登录界面 六、ERP主界面菜单栏 七、ERP公告栏 八、登录页面跳转公告栏 一…

【AntDesign】Modal模态窗带来的缓存问题

背景 : 使用antdesign modal写模态窗, 列表点击"编辑"可以打开模态窗, 并对里面的文字和图片进行修改 问题 : 每次关闭模态窗后, 点击其他数据进行修改, 会发现图片这栏有时候有数据, 有时候会为空, 明明已经传了imgUrl过来了。 modal模态窗具有缓存问题&#xff0…

SpringBoot 基础概念:SpringApplication#getSpringFactoriesInstances

SpringBoot 基础概念&#xff1a;SpringApplication#getSpringFactoriesInstances SpringApplication#getSpringFactoriesInstances SpringApplication#getSpringFactoriesInstances private <T> Collection<T> getSpringFactoriesInstances(Class<T> type,…

Linux的文件系统 内核结构

Linux的文件系统 Q1&#xff1a;什么是文件系统&#xff1f; A&#xff1a;在学术的角度下&#xff0c;文件系统指“操作系统用于明确存储设备组织文件的方法”&#xff0c;是“文件管理系统”的简称&#xff0c;本质也是代码&#xff0c;一段程序 Q2&#xff1a;文件系统&…

香槟过了保质期还能喝吗?

香槟是起泡酒的高级代表&#xff0c;是浪漫和喜庆的化身&#xff0c;它浑身上下都散发着无穷的魅力。那么&#xff0c;这么精贵的葡萄酒有没有保质期&#xff0c;会不会变质呢&#xff1f;云仓酒庄的品牌雷盛红酒分享当然会。一瓶酒的生命离不开它的保存期限&#xff0c;酒的质…

nodejs+vue+微信小程序+python+PHP全国天气可视化分析系统-计算机毕业设计推荐

3.2.1前台用户功能 前台用户可分为未注册用户需求和以注册用户需求。 未注册用户的功能如下&#xff1a; 注册账号&#xff1a;用户填写个人信息&#xff0c;并验证手机号码。 浏览天气资讯&#xff1a;用户可以浏览天气资讯信息详情。 已注册用户的功能如下&#xff1a; 登录&…

GZ015 机器人系统集成应用技术样题1-学生赛

2023年全国职业院校技能大赛 高职组“机器人系统集成应用技术”赛项 竞赛任务书&#xff08;学生赛&#xff09; 样题1 选手须知&#xff1a; 本任务书共 25页&#xff0c;如出现任务书缺页、字迹不清等问题&#xff0c;请及时向裁判示意&#xff0c;并进行任务书的更换。参赛队…

Github2023-12-15 开源项目日报 Top10

根据Github Trendings的统计&#xff0c;今日(2023-12-15统计)共有10个项目上榜。根据开发语言中项目的数量&#xff0c;汇总情况如下&#xff1a; 开发语言项目数量TypeScript项目3非开发语言项目3JavaScript项目1Python项目1Rust项目1PHP项目1 基于项目的学习 创建周期&am…

蓝桥杯真题——01背包问题(java详解)

目录 01背包问题例题引入 蓝桥杯国赛真题 蓝桥杯2195题.费用报销 蓝桥杯2201题.搬砖 01背包问题和最值问题离不开&#xff0c;最值问题嘛&#xff0c;就又和动态规划离不开&#xff0c;大家不太了解动态规划的可以看我之前写的文章&#xff0c;基础版里面有动态规划的模板。…

泛型的相关内容

首先我们来了解一下什么是泛型&#xff0c;泛型的作用又是什么。 泛型的形式是 ArrayList<Object> objects new ArrayList<>(); 这里的<Object>这个就是泛型&#xff0c;添加泛型的作用又是什么呢&#xff0c;它可以限制添加对象的类型&#xff0c;比如A…

CSS新手入门笔记整理:CSS常用属性表

字体样式 属性 属性值 说明 font-family 微软雅黑/苹方 字体类型 font-size 数值 字体大小 font-weight 数值/关键字 字体粗细&#xff08;字重&#xff09; font-style normal&#xff08;正常(默认值)&#xff09;italic&#xff08;斜体&#xff09;oblique&am…