文章详情

专注互联网科技,赋能企业数字化发展

手机端部署DeepSeek R1,效果同样出奇还不卡

作者:手机端部署DeepSeek R1,效果同样出奇还不卡

1️⃣ 第一步:App Store 搜索 fullmoon,安装 2️⃣ 第二步:选择 deepseek-r1-distill-qwen-1.5b-4bit,1G 左右,下载很快。 3️⃣ 第三步:直接聊天就好了。 - - - - - - 一些信息: 🙋‍♂️4bit 和 8bit 有啥区别? 简单说:4bit 要求内存小,输出快,但质量也差一点。15 以上的手机直接 8bit 就好了 🙋‍♂️distill-qwen 是啥意思? distill 是“蒸馏”的意思,distill-qwen 是指基于千问模型进行蒸馏得到的这个模型。所谓“蒸馏”是指用 DeepSeek-R1 原始模型生成的训练样本语料,对qwen 模型进行微调,得到具备 R1 推理能力的模型。 🙋‍♂️1.5B 是啥意思? B 是参数单位,1B=10亿。手机端只能跑得起 15 亿参数的模型,再大就扛不住了。我们在官网用到的“正版”DeepSeekR1 总参数量级是 671B,活跃参数 37B。 15 亿参数对于常规信息分析和推理已经足够了。 更有趣的是,1.5B 参数的 R1 模型会把你的问题当成它自己的经历,更加拟人可爱(只是有时会混乱) #deepseekr1 #iPhone #私有部署 #大模型

返回新闻列表