【米尔 瑞芯微RK3576 工业开发板】5.蹭个热点，本地部署Deepseek R1 1.5

快乐的小香蕉

【米尔 瑞芯微RK3576 工业开发板】5.蹭个热点，本地部署Deepseek R1 1.5 [复制链接]

       DeepSeek可以说是25年开年的LLM领域的当红炸子鸡，刚好使用米尔的这块板子本地部署一个1.5b的版本，本地部署的好处有安全性，私密性，也能更灵活的微调模型，做一些api做不到的事情。

 

       首先选择Ollama 工具来部署模型，下载ram版本的工具包

curl  -L https://ollama.com/download/ollama-linux-arm64.tgz  -o ollama-linux-arm64.tgz

       解压文件

sudo  tar -C /usr -xzf ollama-linux-arm64.tgz

   创建用户及用户组，并加入ollama组

sudo  useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo  usermod -a -G ollama $(whoami)

配置系统启动服务

sudo vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama    Service
After=network-online.target
 
[Service]
ExecStart=/usr/bin/ollama    serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
 
[Install]
WantedBy=default.target

sudo  systemctl daemon-reload
sudo  systemctl enable ollama
sudo  systemctl start ollama

ollama -v

然后通过ollama跑模型

ollama  run deepseek-r1:1.5b

完成！