Ollama 下载本地模型

太长不看：

• 下载安装Ollama：https://ollama.com/download
• 比方说要拉取图像识别模型qwen3-vl:4b

  ollama run qwen3-vl:4b

目前本地模型能力仍不够强，当玩具玩。

排名选择

模型排名，可以参考大模型竞技场-人类评估榜单。

厂商的排名只能做参考。打个比方，有高三学生，宣称他去考去年的高考题，能考“状元”。跟真实的“状元”比，有多大差距呢？

还有一系列小手段，比如对比GPT4，不对比最新的GPT4o，拿最初的GPT4来对比；比不过的模型就不对比了……

按显存选择

部分模型可以去这里查一个估计值 https://huggingface.co/spaces/hf-accelerate/model-memory-usage ，主要看 Total Size

Qwen/Qwen2-7B-Instruct

dtype	Largest Layer or Residual Group	Total Size	Training using Adam (Peak vRAM)
float32	2.03 GB	27.22 GB	108.86 GB
int8	519.75 MB	6.8 GB	N/A
float16/bfloat16	1.02 GB	13.61 GB	54.43 GB
int4	259.88 MB	3.4 GB	N/A

Qwen/Qwen2-1.5B

dtype	Largest Layer or Residual Group	Total Size	Training using Adam (Peak vRAM)
float32	890.25 MB	9.25 GB	37.0 GB
int8	222.56 MB	2.31 GB	N/A
float16/bfloat16	445.12 MB	4.63 GB	18.5 GB
int4	111.28 MB	1.16 GB	N/A

其他参数选择

对话一般选带 Instruct 或者 Chat 的

参考

• https://llama.meta.com/docs/how-to-guides/quantization/
• https://github.com/ggerganov/llama.cpp/discussions/5063
• https://news.ycombinator.com/item?id=39179787