HuggingFace加速

1. 安装依赖（运行一次即可）
   切换conda环境，在终端运行：

# 安装huggingface_hub，使用pypi清华源
pip install -U huggingface_hub -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

2. 下载模型
   假设需要下载的模型为hfl/chinese-roberta-wwm-ext，需要存放到/root/data/models/roberta目录，则参考命令为（切换conda环境，在终端运行）：

# 设置环境变量
export HF_ENDPOINT=https://hf-mirror.com
# 下载模型
huggingface-cli download --resume-download hfl/chinese-roberta-wwm-ext --local-dir /root/data/models/roberta --local-dir-use-symlinks False

备注：若中途下载失败 或 下载速度变慢，可随时使用ctrl + c终止下载过程并重试，模型会从中断的地方继续下载。

3. 下载数据集
   假设需要下载的数据集为thu-coai/Safety-Prompts，需要存放到/root/data/models/Safety-Prompts目录，则参考命令为（切换conda环境，在终端运行）：

# 设置环境变量
export HF_ENDPOINT=https://hf-mirror.com
# 下载模型
huggingface-cli download --repo-type dataset --resume-download thu-coai/Safety-Prompts --local-dir /root/data/models/Safety-Prompts --local-dir-use-symlinks False

备注：若中途下载失败 或 下载速度变慢，可随时使用ctrl + c终止下载过程并重试，模型会从中断的地方继续下载。