『PyTorch学习笔记』如何快速下载huggingface模型/数据—全方法总结

如何快速下载huggingface模型/数据—全方法总结

文章目录

  • 一. 如何快速下载huggingface大模型
    • 1.1. IDM(Windows)下载安装连接
    • 1.2. 推荐 huggingface 镜像站
    • 1.3. 管理huggingface_hub cache-system(缓存系统)
  • 二. 参考文献

一. 如何快速下载huggingface大模型

  • 推荐 huggingface 镜像站:https://hf-mirror.com/
  • 推荐官方的 huggingface-cli 命令行工具、以及个人开发的 hfd 脚本。
  • 详细可以参考原作者个人网站:https://padeoe.com/huggingface-large-models-downloader/
  • 详细可以参考原作者知乎连接:https://zhuanlan.zhihu.com/p/663712983

在这里插入图片描述

1.1. IDM(Windows)下载安装连接

  • Internet Download Manager,全球最佳下载利器。Internet Download Manager (简称IDM) 是一款Windows 平台功能强大的多线程下载工具,国外非常受欢迎。支持断点续传,支持嗅探视频音频,接管所有浏览器,具有站点抓取、批量下载队列、计划任务下载,自动识别文件名、静默下载、网盘下载支持等功能。
  • Internet Download Manager IDM 中文便携版 v6.42.2:https://www.ahhhhfs.com/11659/

1.2. 推荐 huggingface 镜像站

# 安装依赖
pip install -U huggingface_hub# 基本命令示例
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m# 下载需要登录的模型(Gated Model)
huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf
HF_ENDPOINT=https://hf-mirror.com python your_script.py

在这里插入图片描述

  • https://huggingface.co/docs/huggingface_hub/guides/download#download-files-to-local-folder

在这里插入图片描述

1.3. 管理huggingface_hub cache-system(缓存系统)

  • https://huggingface.co/docs/huggingface_hub/guides/manage-cache

在这里插入图片描述

二. 参考文献

  • 详细可以参考原作者个人网站:https://padeoe.com/huggingface-large-models-downloader/
  • 详细可以参考原作者知乎连接:https://zhuanlan.zhihu.com/p/663712983

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/257372.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL-宋红康-(课P12-P13)-SQL分类和SQL的语言规则规范

b站课程: 12-SQL概述与SQL分类_哔哩哔哩_bilibili 🐶7. SQL SQL:Structure Query Language结构化查询语言,它是使用关系模型的数据库应用语言,由IBM上世纪70年代开发出来。后由美国国家标准局(ANSI&#…

java多线程(二)线程池

目录 java线程池 线程池应用场景: 如何创建线程池: 有什么区别: 不同线程池对应的应用场景 案例 输出结果 java线程池 Java线程池是一种预先创建一定数量的线程,并将任务提交给这些线程执行的机制。线程池可以避免频繁创建…

C++新经典模板与泛型编程:将trait类模板用作模板参数

将trait类模板用作模板参数 template<typename T> struct SumFixedTraits;template<> struct SumFixedTraits<char> {using sumT int;static sumT initValue() {return 0;} };template<> struct SumFixedTraits<int> {using sumT __int64;sta…

CCF刷题记录 -- 202305-2:矩阵运算 --python解法

2023.12.7 主要算法 矩阵置换矩阵相乘 满分注意点 运算顺序&#xff0c;利用了矩阵运算法则中的&#xff08;A*B&#xff09;*c A*(B*C) # 矩阵置换 def zhihuan(a):b[]for i in range(d):c []for j in range(n):c.append(a[j][i])b.append(c)return b# 矩阵相乘 def ju_zh…

高级多层次搭建企业级大数据项目, 成就全能型大数据开发实战经验思想

随着大数据技术的快速发展&#xff0c;企业越来越重视构建高效、可靠的大数据项目。本文将重点介绍如何高级多层次地搭建企业级大数据项目&#xff0c;并分享成为全能型大数据开发者的实战经验与思想。通过学习和应用这些技术&#xff0c;我们可以提升大数据项目的质量和效果。…

探索Vue小程序框架的底层原理

最近晚上有时间复盘之前研究小程序框架的相关内容&#xff0c;总结文章记录一下。 本篇文章主要介绍百度19年开源的Mars小程序开发框架&#xff0c;和Taro、mpvue、uniapp类似&#xff0c;都是编译型小程序框架&#xff0c;都是通过将 Vue 或 React 源码直接编译为小程序源码&a…

数据库字段名和sql关键字冲突报错解决方法

1、修改实体类字段映射。注解里加反引号 2、sql字段上加反引号 3、问题解决

MySQL_4.mysql数据库的安装(超详细——保姆级)

1.mysql 单实例、多实例安装 端口&#xff1a;&#xff08;3306、3307&#xff09; 环境&#xff1a;win11/win10 , mysql_5.7.30 2.安装Windows VC 、NET4.0 等系统组件 下载链接百度网盘: 链接&#xff1a;https://pan.baidu.com/s/1goIbaJ6YC-DzmBbVDyOolg 提取码&…

IPTABLES(一)

文章目录 1. iptables基本介绍1.1 什么是防火墙1.2 防火墙种类1.3 iptables介绍1.4 包过滤防火墙1.5 包过滤防火墙如何实现 2. iptables链的概念2.1 什么是链2.2 iptables有哪些链 3. iptables表的概念3.1 什么是表3.2 表的功能3.3 表与链的关系 4. iptables规则管理4.1 什么是…

将单体应用程序迁移到微服务

多年来&#xff0c;我处理过多个单体应用&#xff0c;并将其中一些迁移到了微服务架构。我打算写下我所学到的东西以及我从经验中用到的策略&#xff0c;以实现成功的迁移。在这篇文章中&#xff0c;我将以AWS为例&#xff0c;但基本原则保持不变&#xff0c;可用于任何类型的基…

vue2+datav可视化数据大屏(2)

接上一节所说 我们已经讲骨架搭好 这节我们讲述的如何在vue2中使用mock数据和封装axios 1&#xff0c;项目中使用moke &#x1f4d3;什么是mock&#xff1f;&#xff0c;mock就是假数据&#xff0c;除了数据是假的&#xff0c;其他内容都和正常工作中后端开发的接口都是一致的…

JavaScript实战:制作一个待办事项列表应用

JavaScript实战&#xff1a;制作一个待办事项列表应用 引言 在本教程中&#xff0c;我们将一步步创建一个简单的待办事项列表应用&#xff0c;这不仅会帮助你学习基本的JavaScript编程概念&#xff0c;还会教会你如何处理事件以及操作DOM。这个项目是面向初学者的&#xff0c…