唠嗑
因为Ollama的模型库里总是会有些模型没有,这时候就得自己去huggingFace上下载,下完之后就得让Ollama来加载模型,注意Ollama仅支持GGUF格式的模型,所以你下载的模型格式也必须是GGUF的否则是无法用Ollama来使用的!我这里就以Qwen2.5-Coder-14B-Instruct-GGUF
为例演示
模型仓库:Qwen2.5-Coder-14B-Instruct-GGUF
开始
下载需要的模型
创建Modelfile内容如下(注意:你的Modelfile必须和模型在同一个目录下)
FROM ./qwen2.5-coder-14b-instruct-fp16.gguf
TEMPLATE "[INST] {{ .Prompt }} [/INST]"
TEMPLATE的解释:该模板的主要作用是明确区分用户输入的内容,帮助模型更准确地解析和生成响应。在对话系统中,使用 [INST]
和 [/INST]
包裹用户输入,可以使模型清晰地识别用户的提问或指令,从而生成更相关的回答。
在当前目录下执行创建命令
ollama create 自己定义一个模型名称要英文的 -f Modelfile