Skip to content

前言

最近开源的Deepseek-R1很火爆,在B站也看到不少教你怎么本地部署Deepseek-R1的方法,正巧想起来我还有个做YOLO目标检测的开发板香橙派5,看能不能部署一个玩玩。

一个误区

本地部署Deepseek-R1本质上是一个基于其他大模型蒸馏过的模型,即DeepSeek-R1-Distill-Qwen-7B,并非网页版的Deepseek-R1。各路自媒体标题不说清楚,导致大家都认为自己电脑就能跑出和网页版的效果。其实普通玩家也就能部署7B或者14B的,我自己用ollama部署14B的效果就可以。网页版Deepseek-R1的总参数为671B,激活参数也达到37B之多,需要计算卡集群才能跑起来。

搜索一圈资料发现RK官方提供的RKLLM工具能实现本地部署,而且官方文档也给得比较详细,在这里就做个详细的部署过程记录。

注意

本教程默认你的香橙派5安装了官方Ubuntu镜像 ,文件名Orangepi5_1.1.10_ubuntu_jammy_desktop_xfce_linux5.10.160.7z。关于如何烧录镜像,可参考用户手册

若以上链接均失效,可尝试访问香橙派5资料下载页面

请跟随用户手册第2节配置到能成功进入系统并通过SSH连接开发板。