文章详情

专注互联网科技,赋能企业数字化发展

不建议大家跟风本地部署deepseek r1

作者:不建议大家跟风本地部署deepseek r1

大家都知道deepseek r1是开源的,可以“本地部署” 然后你看到了网上的很多教程,下载了ollama 或者LMstudio,学会了下载模型,分清了量化版本,最后pull到本地测试,发现比官方“笨”很多,速度也令人堪忧 因为你“能够”在本地部署的deepseek r1只是蒸馏的70b、32b、14b、7b、1.5b(到底是谁在教大家在手机部署这个1.5b的傻子模型啊喂),是deepseek用原版教导qwen和llama出的学生模型 以r1 32b为例,实际模型为DeepSeek-R1-Distill-Qwen-32B,我用m1max64g本地部署后,回答“几个r”的问题还是出错(图2),且输出速度为2token/s(图3),堪堪日常使用…(更正,是6token/s) 毕竟原版的671b参数量极大,需要9张H100才能部署,不是普通公司和个人能负担的(目前也只有不到10家提供满血版r1服务) 个人建议,现阶段想玩好deepseek,先把siliconflow和官方的api申请了,把r1接入到本地客户端或者其他的ai服务里(比如dify),先玩起来,再搞专业的 最后总结一下: 🤡本地部署的大模型参数量太小,不具有实际生产力 🤔毕竟模型能力是第一位的,有数据隐私需求的例外哈,我是律师我懂的 #deepseek #本地大模型

返回新闻列表