【米尔瑞芯微RK3576 工业AI开发板】Deepseek-R1本地板级部署极速体验

qianmo2001

【米尔瑞芯微RK3576 工业AI开发板】Deepseek-R1本地板级部署极速体验 [复制链接]

本帖最后由 qianmo2001 于 2025-3-1 18:53 编辑

【米尔瑞芯微RK3576 工业AI开发板】Deepseek-R1本地板级部署快速体验

开发板配置：RK3567，4+32G（内存4G，emmc存储32G）

大模型版本：DeepSeek-R1-Distill-Qwen-1.5B

模型文件：DeepSeek-R1-Distill-Qwen-1.5B_W4A16_RK3576.rkllm

以下所有操作均在米尔瑞芯微RK3576 工业AI开发板上进行：

在开发板上下载上述测试代码并解压，进入如下解压目录：

cd rknn-llm-main/examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/deploy

修改build-linux.sh中编译工具目录为

GCC_COMPILER_PATH=/usr/bin/aarch64-none-linux-gnu

运行脚本

./build-linux.sh

截图_2025-03-01_15-46-09.png

生成编译文件llm_demo后，将上述链接中下载的DeepSeek-R1-Distill-Qwen-1.5B_W4A16_RK3576.rkllm大模型文件移动至llm_demo同级目录，运行指令：

export LD_LIBRARY_PATH=./lib
export RKLLM_LOG_LEVEL=1
./llm_demo ./DeepSeek-R1-Distill-Qwen-1.5B_w4a16_RK3576.rkllm 2048 4096

截图_2025-03-01_16-10-42.png

lugl4313820

部署后，使用对话，返回的效果如何，速度飞得起吗？

qianmo2001

lugl4313820 发表于 2025-3-5 21:55 部署后，使用对话，返回的效果如何，速度飞得起吗？

这才1.5b，没啥问题，内存加到8G，7b也能跑