文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

通过git clone批量下载huggingface模型和数据集

2023-09-21 14:32

关注

目录


前言

想要下载huggingface的模型,却发现只能一个个文件下载非常不方便,又或者官方提供的api不好用或者下载不下来,这里提供一个通过git clone一次性下载整个数据集/模型下来的高效方法。


一、配置git全局代理【可选】

1.配置http或socks5代理

如果不使用代理clone非常慢,可以选择先配置git全局代理。在bash或者cmd中输入如下命令:

git config --global http.proxy 'http://127.0.0.1:此处换成http端口号'git config --global https.proxy 'https://127.0.0.1:此处换成https端口号'
git config --global http.proxy 'socks5://127.0.0.1:此处换成socks5端口号'git config --global https.proxy 'socks5://127.0.0.1:此处换成socks5端口号'

或在用户目录下的.gitconfig文件末尾加上:

[http] proxy = socks5://127.0.0.1:此处换成socks5端口号proxy = http://127.0.0.1:此处换成http端口号 [https] proxy = socks5://127.0.0.1:此处换成socks5端口号proxy = https://127.0.0.1:此处换成http端口号

2.取消代理配置

git config --global --unset http.proxygit config --global --unset https.proxy

或删掉用户目录下.gitconfig文件里[http][https]后面的内容。

二、下载步骤

1. 进入到你要下载的数据集(Dataset card)或模型(Model card)的Files目录下,然后从地址栏中复制url,如下图所示:
在这里插入图片描述

2. bash或cmd中输入如下命令:

git clone '第1步中复制的url,将末尾的/tree/main换成.git'

如果所需要下载的文件较大,则需要使用git-lfs下载(安装及使用方法):

git lfs clone '第1步中复制的url,将末尾的/tree/main换成.git'

注意: 如果需要切换分支,同样只需要使用git-b参数下载对应的分支即可。

3. 等待clone完成
如果clone中断,恢复clone可以尝试如下命令:

git checkout branchname -- .

问题

在第一次clone的时候遇到了git LFS错误,不确定原因,顺便记录一下解决过程,错误如下:

error: external filter 'git-lfs filter-process' failedfatal: xxxxxxxxx: smudge filter lfs failedwarning: Clone succeeded, but checkout failed.

解决方法: Kerwen Blog

来源地址:https://blog.csdn.net/weixin_44034841/article/details/131862553

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯