ulucky - Blog ulucky - Blog
小黄

小黄

这个人懒死了，什么都没写

  • 累计撰写 23 篇文章
  • 累计创建 7 个分类
  • 累计收到 0 条评论

Ollama加载本地大语言模型

  • 2024-11-15 23:43
  • 40
  • 0
  • 0
  • 28.0℃
大语言模型 
唠嗑 因为Ollama的模型库里总是会有些模型没有，这时候就得自己去huggingFace上下载，下完之后就得让Ollama来加载模型，注意Ollama仅支持GGUF格式的模型，所以你下载的模型格式也必须是GGUF的否则是无法用Ollama来使用的！我这里就以Qwen2.5-Coder-14B-In

Open-WebUI + Ollama 的基本使用

  • 2024-11-14 14:02
  • 47
  • 0
  • 0
  • 28.7℃
大语言模型 
唠嗑 我本来一开始打算用源码跑的，然后发现越捣鼓越麻烦，最后还是用Python去跑，但是会踩一个坑，因为要从HuggingFace下载一个很小的模型，下不下来就会报错，我把这个丢到蓝奏云上去，如果你的环境不是Python3.11那你可以看我之前的文章通过MiniConda来管你多个Python环境

捣鼓一下ollama的使用（Windows）

  • 2024-11-14 13:19
  • 12
  • 0
  • 0
  • 25.2℃
大语言模型 
碎碎念 想玩很久了，这次发布的Qwen-coder-32B好像还不错，用ollama来玩一下！ 下载 官网：https://ollama.com/ github：https://github.com/ollama/ollama
弹