有关模型与数据集下载
编辑
1
2025-03-31
有关模型与数据集下载
相信大家在学习AI大模型时一定遇到过有关模型与数据集下载的问题。
本次笔者就分享一下自己的解决方法。
huggingface
Hugging Face
是一个旨在推动自然语言处理（NLP）技术和工具发展的开源社区和公司。他们致力于提供各种NLP任务中的最新技术、模型和工具，以及为开发者提供便捷的方式来使用、微调和部署这些技术。官网链接
https://huggingface.co
下载方式一
下载方式二
使用transformers库的AutoModel以及dataset加载
缺点
需要科学上网
huggingface-cli
huggingface-cli 是 Hugging Face
官方提供的命令行工具，自带完善的下载功能。作为一个公益项目，致力于帮助国内AI开发者快速、稳定的下载模型、数据集。
官网链接
https://hf-mirror.com/
1. 安装依赖
pip install -U huggingface_hub
2. 设置环境变量
Linux
export HF_ENDPOINT=https://hf-mirror.com
Windows Powershell
$env:HF_ENDPOINT = "https://hf-mirror.com"
建议将上面这一行写入 ~/.bashrc。
3.1 下载模型
huggingface-cli download --resume-download 模型的id --local-dir 下载路径
3.2 下载数据集
huggingface-cli download --repo-type dataset --resume-download 数据集id--local-dir 下载路径
魔搭ModelScope
ModelScope汇聚各领域最先进的机器学习模型，提供模型探索体验、推理、训练、部署和应用的一站式服务。
官网链接
https://modelscope.cn/home
下载方式一
下载方式二
#模型下载，替换模型id
from modelscope import snapshot_download
model_dir = snapshot_download('ZhipuAI/cogvlm2-video-llama3-chat')
- 0
- 0
-
分享