大模型预下载方法

许多开源大模型是通过 Hugging Face 开源，下载模型往往需要访问 Hugging Face 的节点。 而在国内无法直接访问 Hugging Face，本文使用 python 脚本预下载模型的方式，解决大模型部署过程中遇到的模型无法下载问题。

Hugging Face 模型预下载

Hugging Face模型库

通过 Hugging Face 的国内镜像，预下载模型示例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import os

from huggingface_hub import snapshot_download

# 设置镜像源
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 模型信息
model_id = os.getenv("MODEL_ID", "huihui-ai/DeepSeek-R1-Distill-Llama-70B-abliterated")  # 模型名称

# 指定下载路径
download_path = os.getenv("DOWNLOAD_PATH", f"./models/{model_id}")

# 下载整个模型
snapshot_download(repo_id=model_id, repo_type='model', local_dir=download_path, resume_download=True)

print(f"模型已下载到: {download_path}")

要下载你需要的模型，在 Hugging Face 网站上找到模型名称，修改上述脚本即可， 上述示例模型名称为：huihui-ai/DeepSeek-R1-Distill-Llama-70B-abliterated， 需要修改下载路径可修改上述脚本 download_path 字段。

modelscope 模型预下载

魔搭社区模型库

许多 Hugging Face 上的模型在魔搭社区（modelscope）的模型库上有相对应的模型，可以通过魔搭社区直接下载需要部署的模型。 预下载脚本如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import os

from modelscope.hub.snapshot_download import snapshot_download

# 模型信息
model_id = os.getenv("MODEL_ID", "Qwen/Qwen-VL-Chat-Int4")  # 模型名称

# 指定下载路径
download_path = os.getenv("DOWNLOAD_PATH", f"./models/{model_id}")

snapshot_download(model_id=model_id, local_dir=download_path)