Ollama 下载本地模型

太长不看：

• 下载安装Ollama：https://ollama.com/download
• 目前适合国内用户的、对话场景的是qianwen2-instruct模型，7B参数大小、int4的dtype适用于 4GB 或以上显存

  ollama run qwen2:7b-instruct-q4_0

• 如果接受全英文，用llama3

  ollama run llama3:8B

排名选择

模型排名，一般认准LMSYS榜单。

厂商的排名只能做参考。打个比方，学生看过考题后，考试成绩其实不太作数——现在很多大模型已经把公开测试集纳入训练集了。

还有一系列小手段，比如对比GPT4，不对比最新的GPT4o，拿最初的GPT4来对比；比不过的模型就不对比了……

LLama

只有英文能力，编码水平相当不错。做为一个本地模型，超越了 ChatGPT 3.5，详见LLama 3，本地 AI 应用的曙光

可以自行在官网选参数：

https://ollama.com/library/qwen2:7b-instruct-q4_0

千问2

相当于自带中文能力的 LLama 3，且有更多种参数选择，

按显存选择

部分模型可以去这里查一个估计值 https://huggingface.co/spaces/hf-accelerate/model-memory-usage ，主要看 Total Size

Qwen/Qwen2-7B-Instruct

dtype	Largest Layer or Residual Group	Total Size	Training using Adam (Peak vRAM)
float32	2.03 GB	27.22 GB	108.86 GB
int8	519.75 MB	6.8 GB	N/A
float16/bfloat16	1.02 GB	13.61 GB	54.43 GB
int4	259.88 MB	3.4 GB	N/A

Qwen/Qwen2-1.5B

dtype	Largest Layer or Residual Group	Total Size	Training using Adam (Peak vRAM)
float32	890.25 MB	9.25 GB	37.0 GB
int8	222.56 MB	2.31 GB	N/A
float16/bfloat16	445.12 MB	4.63 GB	18.5 GB
int4	111.28 MB	1.16 GB	N/A

Llama 3

Llama 3应该在那个网页查不到的

其他参数选择

对话一般选带 Instruct 或者 Chat 的

施工中

参考

• https://llama.meta.com/docs/how-to-guides/quantization/
• https://github.com/ggerganov/llama.cpp/discussions/5063
• https://news.ycombinator.com/item?id=39179787