是一款國(guó)產(chǎn)領(lǐng)先的AI大模型，以其卓越的推理能力和高效的文本生成技術(shù)在全球人工智能領(lǐng)域嶄露頭角。DeepSeek的推出，標(biāo)志著國(guó)產(chǎn)AI大模型在技術(shù)自主創(chuàng)新和產(chǎn)業(yè)應(yīng)用落地方面邁出了重要一步。

　　AIoT3588S-E智能主板基于Rockchip RK3588S芯片，成功實(shí)現(xiàn)DeepSeek大模型的高效移植與推理加速，為邊緣計(jì)算場(chǎng)景提供開(kāi)箱即用的AI解決方案。如何快速將AI大模型部署到嵌入式設(shè)備?本文從模型部署到效果測(cè)試，揭秘全流程操作指南。

01.

部署過(guò)程

DeepSeek+AIoT3588S-E

　　設(shè)備連接與遠(yuǎn)程登錄

　　將AIoT3588S-E智能主板連接到顯示器，登錄后獲取IP地址，進(jìn)行SSH遠(yuǎn)程登錄，以便進(jìn)一步管理和查看系統(tǒng)信息。

　　模型獲取與環(huán)境配置

　　下載預(yù)量化模型：DeepSeek-R1-Distill-Qwen-1.5B_W8A8_RK3588.rkllm，更新系統(tǒng)軟件包列表，配置Python 3.8環(huán)境并安裝pip，安裝Git工具及編譯環(huán)境，以便代碼倉(cāng)庫(kù)的克隆和管理。

　　獲取與編譯rkllm

　　下載好量化后的模型，在AIoT3588S-E開(kāi)發(fā)板上git一下rkllm的倉(cāng)庫(kù)【 rkllm倉(cāng)庫(kù)地址】，修改編譯腳本，將編譯好的文件移動(dòng)到rkllm目錄下，便于后續(xù)管理與執(zhí)行。

　　創(chuàng)建與運(yùn)行腳本

　　進(jìn)入rkllm目錄，創(chuàng)建deepseek_start.sh腳本文件并賦權(quán)777權(quán)限，編輯該腳本并設(shè)置必要的環(huán)境變量并定義啟動(dòng)命令，執(zhí)行該腳本來(lái)啟動(dòng)應(yīng)用程序。

02.

性能測(cè)評(píng)

DeepSeek+AIoT3588S-E

　　在完成部署后，我們針對(duì)程序運(yùn)行時(shí)對(duì)主板資源的占用情況進(jìn)行了測(cè)試與分析，總結(jié)了以下幾個(gè)關(guān)鍵數(shù)據(jù)：

　　CPU占用8%~27%。

　　程序執(zhí)行期間，CPU的使用率穩(wěn)定在8%到27%之間，該程序在處理任務(wù)時(shí)能夠有效利用系統(tǒng)資源，避免過(guò)度消耗。

　　內(nèi)存占用2GB。

　　程序運(yùn)行時(shí)，內(nèi)存占用維持在2GB水平，反映出程序設(shè)計(jì)高效，在確保性能的同時(shí)，盡可能減少了對(duì)內(nèi)存資源的需求，有助于提升整體穩(wěn)定性及響應(yīng)速度。

　　NPU占用：三個(gè)核心負(fù)載45%~51%。

　　NPU三個(gè)核心的負(fù)載介于45%至51%，程序在進(jìn)行特定計(jì)算任務(wù)時(shí)，能夠均衡地利用硬件加速資源，實(shí)現(xiàn)高效的并行處理能力。

03.

應(yīng)用效果

DeepSeek+AIoT3588S-E

　　DeepSeek-R1 是一款全能型人工智能助手，憑借強(qiáng)大的數(shù)據(jù)處理能力和豐富的知識(shí)庫(kù)，支持多種場(chǎng)景下的高效應(yīng)用，兼具快速響應(yīng)與數(shù)據(jù)安全，是用戶(hù)探索與解決問(wèn)題的得力助手。在完成部署后，我們檢測(cè)了使用效果：

　　DeepSeek可以快速分析設(shè)備故障問(wèn)題，并給出技術(shù)支持的建議。

　　例如：AIoT3588S-E智能主板在啟動(dòng)時(shí)卡在Uboot階段時(shí)，如何通過(guò)串口日志定位問(wèn)題?

　　DeepSeek可以快速分析數(shù)學(xué)問(wèn)題，并按照指令生成答題過(guò)程。

　　例如：請(qǐng)用高斯消元法求解方程組：2x+y =5、3x-2y =8。

　　本文分享了在智能主板AIoT3588S-E上部署DeepSeek-R1(1.5B)的過(guò)程，經(jīng)過(guò)實(shí)際測(cè)試，其強(qiáng)大功能和高效表現(xiàn)得到了充分驗(yàn)證。

　　“先進(jìn)算法+硬核算力”的協(xié)同模式，是國(guó)產(chǎn)AI生態(tài)從“實(shí)驗(yàn)室”走向“生產(chǎn)線”的重要過(guò)程，為開(kāi)發(fā)者提供了一個(gè)即開(kāi)即用的創(chuàng)新平臺(tái)，為各行各業(yè)提供了更高效、更安全、更靈活的智能化解決方案。如果您對(duì)此感興趣，歡迎隨時(shí)咨詢(xún)，我們會(huì)提供更全面的技術(shù)支持，期待與您共同探索AI應(yīng)用的無(wú)限可能。