安卓/IOS手机上离线部署DeepSeek-R1大模型教程

之前给大家分享的很多教程都是通过客户端或者工具调用,早期也分享了使用Ollama实现在电脑本地离线部署大模型的教程,感兴趣的小伙伴可以看一下: https://www.mkeai.com/tutorials/detail/30.html

Ollama支持市面上所有的本地部署,非常方便,并且集成好 api通用格式,直接调用就可以在任何工具中使用。

今天要给大家分享的是利用手机来离线部署(同样是所有开源大模型都支持,自己选择性下载不同的模型即可),实现在手机上离线使用AI,确保绝对的安全性。

当然这次也要利用一个软件【PocketPal AI】,这是一个开源软件,所以不用担心病毒啥的,开源地址是: https://github.com/a-ghorbani/pocketpal-ai

github国内可能需要魔法上网才能正常访问,所以我已经将安卓的安装包打包好了,直接进网盘下载:

安卓: https://pan.quark.cn/s/3067657fb27a

ios: https://apps.apple.com/cn/app/id6502579498

手机上安装好PocketPal AI软件后,打开软件,第一步需要先下载模型,点击 + 添加模型,Add from Hugging Face 进行下载。

进入开源模型列表中,直接搜索DeepSeek,选择你需要的版本进行下载,手机上的话,一般只能运行1.5B或者7B版本,更大规模的手机带不动。

等待DeepSeek模型下载好了之后,在模型管理里面,点击 Load 启动。然后就可以使用离线版本 DeepSeek 了。我们测试一下,已经可以正常输出了。

另外在聊天生成设置功能方面,可以对上下文设置,用户可设置生成内容的最大长度,默认建议调整为 4096 或 8000,支持选择不同预置模板,实时性能指标等。

另外由于Hugging Face是国外平台,有可能在线下载时,由于网络问题下载不了,PocketPal AI也提供了本地模型加载方式,可以通过本地加载 GGUF 格式模型,点击 + 本地加载模型(Add Local Model)- 选择你下载好的模型 - 模型管理 - 点击 Load 启动。

我已经打包好了的所有版本,直接进网盘下载会更快: https://pan.quark.cn/s/368117b904ff

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
技术教程

清华大学:普通人如何抓住DeepSeek红利PDF文档(附下载地址)

2025-2-17 12:35:46

技术教程

1分钟用DeepSeek-R1快速生成3D模型保姆级教程

2025-2-19 10:52:57

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索