Hugging Face或ModelScope上下载模型或数据集

摘要

Hugging Face或modelscope上下载模型或数据集的几种方法

一、Hugging Face

先安装和登录

conda activateenvpipinstall-Uhuggingface_hub hf auth login

下载数据集

mkdir-p/home/data1/datasets/your_dataset hf download 数据集ID\--repo-type dataset\--local-dir /home/data1/datasets/your_dataset

举例

mkdir-p/home/datasets/ultrachat_200k hf download HuggingFaceH4/ultrachat_200k\--repo-type dataset\--local-dir /home/datasets/ultrachat_200k

只下载某些文件：

hf download 数据集ID\--repo-type dataset\--include"*.json"\--local-dir /home/data1/datasets/your_dataset

二、ModelScope

如果要先登录

modelscope login 或 modelscope login--token你的魔塔token

方法一：CLI下载

conda activateenvpipinstall-Umodelscopemkdir-p目标文件夹 modelscope download\--dataset要下载的模型或数据集\--local_dir目标文件夹

方法二：Python SDK 下载

如果 CLI 只下到元文件，或者大文件没完整下来，可以用 SDK：

conda activateenvpipinstall-U"modelscope[datasets]"

然后执行：

python -<<'PY' from modelscope.hub.snapshot_download import snapshot_download snapshot_download( repo_id='要下载的模型或数据集', repo_type='dataset', local_dir='目标文件夹' ) PY