LLama 3，本地 AI 应用的曙光

发布当天，好评如潮

近期，llama3模型发布8B与70B，好评如潮。二十四小时内，为聊天场景优化过的70b-Instruct登上了人类评估排行榜LMSYS第五，其实算是第二梯队，也是开源模型的第一梯队。

它参数是70B，也就是七百亿，跑起来显存 40GB 左右。同样质量下的大模型，这参数跟硬件要求算是很小的了。甚至不用GPU，内存够大的话，Mac M1、Windows的CPU也能跑。

8B要求更小，显存 6GB 以下。解编程题的能力好得异常。难题接雨水、八皇后也是可以的。

当然，llama3也有缺点，除了很喜欢用英文跟 Python 外，上下文 8K 显得太小了，大一些的文档就超过这个上限，更别提用来做 RAG 了。

如果进一步调优、蒸馏 8B 模型，专门用做代码场景，完全可以用做离线电脑的编码助手，完全不用担心隐私的问题。

换句话说，本地 AI 应用的逻辑快成立了。

在线体验、下载部署

这么好的模型，要怎么体验、下载、自部署呢。

体验可以用 HuggingChat 跟 Replicate。

• HuggingChat：不仅有HuggingChat 网页端，也有 APP（APP需要在非备案地区下载）
• Replicate LLaMa3链接

可以用ollama下载、部署，无需特别网络，如：llama3:8b | ollama

还有一句话

最后让我们复习一下某个人的名言：

开源模型会越来越落后。

可能他理解的开源，跟我们理解的不一样吧。