技術(shù)分享 | 欣威視通AIoT3588S-E智能主板部署DeepSeek-R1(1.5B)?大模型全流程解析
來(lái)源:欣威視通 編輯:lgh 2025-03-17 10:02:17 加入收藏 咨詢(xún)

所在單位: | * |
姓名: | * |
手機(jī): | * |
職位: | |
郵箱: | * |
其他聯(lián)系方式: | |
咨詢(xún)內(nèi)容: | |
驗(yàn)證碼: |
|

是一款國(guó)產(chǎn)領(lǐng)先的AI大模型,以其卓越的推理能力和高效的文本生成技術(shù)在全球人工智能領(lǐng)域嶄露頭角。DeepSeek的推出,標(biāo)志著國(guó)產(chǎn)AI大模型在技術(shù)自主創(chuàng)新和產(chǎn)業(yè)應(yīng)用落地方面邁出了重要一步。
AIoT3588S-E智能主板基于Rockchip RK3588S芯片,成功實(shí)現(xiàn)DeepSeek大模型的高效移植與推理加速,為邊緣計(jì)算場(chǎng)景提供開(kāi)箱即用的AI解決方案。如何快速將AI大模型部署到嵌入式設(shè)備?本文從模型部署到效果測(cè)試,揭秘全流程操作指南。
01.
部署過(guò)程
DeepSeek+AIoT3588S-E
設(shè)備連接與遠(yuǎn)程登錄
將AIoT3588S-E智能主板連接到顯示器,登錄后獲取IP地址,進(jìn)行SSH遠(yuǎn)程登錄,以便進(jìn)一步管理和查看系統(tǒng)信息。
模型獲取與環(huán)境配置
下載預(yù)量化模型:DeepSeek-R1-Distill-Qwen-1.5B_W8A8_RK3588.rkllm,更新系統(tǒng)軟件包列表,配置Python 3.8環(huán)境并安裝pip,安裝Git工具及編譯環(huán)境,以便代碼倉(cāng)庫(kù)的克隆和管理。
獲取與編譯rkllm
下載好量化后的模型,在AIoT3588S-E開(kāi)發(fā)板上git一下rkllm的倉(cāng)庫(kù)【 rkllm倉(cāng)庫(kù)地址】,修改編譯腳本,將編譯好的文件移動(dòng)到rkllm目錄下,便于后續(xù)管理與執(zhí)行。
創(chuàng)建與運(yùn)行腳本
進(jìn)入rkllm目錄,創(chuàng)建deepseek_start.sh腳本文件并賦權(quán)777權(quán)限,編輯該腳本并設(shè)置必要的環(huán)境變量并定義啟動(dòng)命令,執(zhí)行該腳本來(lái)啟動(dòng)應(yīng)用程序。
02.
性能測(cè)評(píng)
DeepSeek+AIoT3588S-E
在完成部署后,我們針對(duì)程序運(yùn)行時(shí)對(duì)主板資源的占用情況進(jìn)行了測(cè)試與分析,總結(jié)了以下幾個(gè)關(guān)鍵數(shù)據(jù):
CPU占用8%~27%。
程序執(zhí)行期間,CPU的使用率穩(wěn)定在8%到27%之間,該程序在處理任務(wù)時(shí)能夠有效利用系統(tǒng)資源,避免過(guò)度消耗。
內(nèi)存占用2GB。
程序運(yùn)行時(shí),內(nèi)存占用維持在2GB水平,反映出程序設(shè)計(jì)高效,在確保性能的同時(shí),盡可能減少了對(duì)內(nèi)存資源的需求,有助于提升整體穩(wěn)定性及響應(yīng)速度。
NPU占用:三個(gè)核心負(fù)載45%~51%。
NPU三個(gè)核心的負(fù)載介于45%至51%,程序在進(jìn)行特定計(jì)算任務(wù)時(shí),能夠均衡地利用硬件加速資源,實(shí)現(xiàn)高效的并行處理能力。
03.
應(yīng)用效果
DeepSeek+AIoT3588S-E
DeepSeek-R1 是一款全能型人工智能助手,憑借強(qiáng)大的數(shù)據(jù)處理能力和豐富的知識(shí)庫(kù),支持多種場(chǎng)景下的高效應(yīng)用,兼具快速響應(yīng)與數(shù)據(jù)安全,是用戶(hù)探索與解決問(wèn)題的得力助手。在完成部署后,我們檢測(cè)了使用效果:
DeepSeek可以快速分析設(shè)備故障問(wèn)題,并給出技術(shù)支持的建議。
例如:AIoT3588S-E智能主板在啟動(dòng)時(shí)卡在Uboot階段時(shí),如何通過(guò)串口日志定位問(wèn)題?
DeepSeek可以快速分析數(shù)學(xué)問(wèn)題,并按照指令生成答題過(guò)程。
例如:請(qǐng)用高斯消元法求解方程組:2x+y =5、3x-2y =8。
本文分享了在智能主板AIoT3588S-E上部署DeepSeek-R1(1.5B)的過(guò)程,經(jīng)過(guò)實(shí)際測(cè)試,其強(qiáng)大功能和高效表現(xiàn)得到了充分驗(yàn)證。
“先進(jìn)算法+硬核算力”的協(xié)同模式,是國(guó)產(chǎn)AI生態(tài)從“實(shí)驗(yàn)室”走向“生產(chǎn)線”的重要過(guò)程,為開(kāi)發(fā)者提供了一個(gè)即開(kāi)即用的創(chuàng)新平臺(tái),為各行各業(yè)提供了更高效、更安全、更靈活的智能化解決方案。如果您對(duì)此感興趣,歡迎隨時(shí)咨詢(xún),我們會(huì)提供更全面的技術(shù)支持,期待與您共同探索AI應(yīng)用的無(wú)限可能。
評(píng)論comment