最近发现，基于自己的电脑部署大模型变成了一个超简单的事情，所以来记录一下。技术选型是ollama+dify，前者用来本地部署大模型，后者用来提供大模型的web ui视图并且能配置一些设置以及自建知识库。目前我使用qwen2、llama3.1、llama2这三个大模型。 首先大家搜索ollama并安装，安装后打开windows powershell运行“ollama run qwen2:7b”，这样可以自动傻瓜安装千问2的大模型。 安装完后就可以直接输入问题进行对话啦，到这一步其实就完成了简单的本地部署大模型，有点追求的人可以尝试使用dify做一个有界面显示的大模型对话窗口以及各种后台配置。 为了做到这一点，可以搜索dify官网进行操作。我是使用docker的方式部署，通过使用git的方式把dify项目下载到本地，使用docker compose up -d命令运行dify项目。随后浏览器打开localhost/install登录dify，就可以配置自己之前本地用ollama部署的大模型了（需要修改Windows系统环境变量，让ollama的端口改成对局域网开放，具体可以在官网开发文档看到）～ 编写好自己的提示词，从此以后我也有自己的私有大模型了，完全离线～#大模型 #端侧大模型 #自己的大模型