安防網(wǎng)關(guān)如何從‘看見(jiàn)’向‘看懂’升級(jí)?RK3588給出答案
一、FET3588-C核心板性能解析
我們先來(lái)看一看主控設(shè)備的核心配置。搭載瑞芯微RK3588旗艦級(jí)處理器,采用4×Cortex-A76@2.4GHz+4×Cortex-A55@1.8GHz的大小核架構(gòu),為多任務(wù)處理提供強(qiáng)勁動(dòng)力;內(nèi)置瑞芯微自研三核NPU,可協(xié)同或獨(dú)立工作,從而靈活分配算力,避免冗余,綜合算力可達(dá)6TOPS,為邊緣側(cè)AI提供充沛的算力支持;還引入了新一代4800萬(wàn)像素ISP3.0,可實(shí)現(xiàn)鏡頭陰影校正, 2D/3D降噪,銳化去霧,魚(yú)眼校正,伽馬校正,寬動(dòng)態(tài)對(duì)比度增強(qiáng)等效果,大幅提升圖像質(zhì)量;此外,豐富的高速數(shù)據(jù)通訊接口也配備齊全,可以滿足用戶多樣化的需求。
二、系統(tǒng)數(shù)據(jù)流向
FET3588-C核心板、多路網(wǎng)絡(luò)攝像頭和PC處于由交換機(jī)組成的局域網(wǎng)中——FET3588-C核心板負(fù)責(zé)對(duì)網(wǎng)絡(luò)攝像頭輸入的視頻流進(jìn)行拉流解碼、AI推理、編碼推流的全流程;經(jīng)處理后的視頻流被推送至指定的流媒體服務(wù)器;PC從該流媒體服務(wù)器上拉流播放相應(yīng)的視頻。
三、方案亮點(diǎn)
1、實(shí)時(shí)視頻高效處理
FET3588-C核心板采用瑞芯微第四代編解碼技術(shù),除支持主流的8K@60fpsH.265解碼器和8K@30fps的H.264解碼器外,還支持8K@60fps VP9解碼器及4K@60fps AV1解碼器。
全流程中的視頻編解碼和AI推理均依靠核心板進(jìn)行編解碼處理。在多路攝像頭輸入的情況下,每幀視頻數(shù)據(jù)解碼耗時(shí)在15ms左右,推理耗時(shí)在30-200ms左右,通過(guò)抽幀操作,可以滿足對(duì)20fps左右的多路攝像頭視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。
2、多種AI模型實(shí)時(shí)推理FET3588-C核心板引入了INT4/INT8/INT16/FP16混合運(yùn)算,MAC利用率提升28%以上同時(shí)升級(jí)2.0 RKNN TOOLkit2套件,具備強(qiáng)大兼容性,滿足絕大多數(shù)終端設(shè)備邊緣計(jì)算的需求。
該解決方案支持部署多種AI模型,可滿足不同的應(yīng)用場(chǎng)景需求。如一路視頻流使用目標(biāo)檢測(cè)模型,同時(shí)另一路視頻流使用關(guān)鍵點(diǎn)檢測(cè)模型等。目前已支持YOLOv8目標(biāo)檢測(cè)模型、關(guān)鍵點(diǎn)檢測(cè)模型、圖像分割模型。
3、通過(guò)程序外界的配置文件靈活配置通過(guò)獨(dú)立于程序之外的配置文件可以直接配置攝像頭的RTSP地址,對(duì)應(yīng)的AI模型的路徑和種類等信息。不需要修改或重新編譯程序,方便用戶調(diào)整和使用。
四、應(yīng)用實(shí)例
FET3588-C核心板、四路網(wǎng)絡(luò)攝像頭和PC通過(guò)網(wǎng)線和交換機(jī)連接。攝像頭采集的畫(huà)面輸出為H.264編碼的RTSP碼流,1080P分辨率,20fps,所有設(shè)備處于同一網(wǎng)段;PC端可通過(guò)FFplay、VLC等播放器拉流播放四路視頻流。
【畫(huà)面1】為人體關(guān)鍵點(diǎn)檢測(cè)模型;
【畫(huà)面2】是目標(biāo)檢測(cè)模型;
【畫(huà)面3】為圖像分割模型;
【畫(huà)面4】為區(qū)域預(yù)警檢測(cè)(當(dāng)有目標(biāo)進(jìn)入紅框區(qū)域時(shí),區(qū)域框的顏色由綠色變?yōu)榧t色)。
五、總結(jié)
總體而言,基于飛凌嵌入式FET3588-C核心板的智能網(wǎng)關(guān)解決方案實(shí)現(xiàn)了從多路視頻輸入解碼、AI實(shí)時(shí)推理到編碼推流至媒體服務(wù)器的全流程技術(shù)閉環(huán),能夠?yàn)楣I(yè)視頻監(jiān)控提供高效的邊緣計(jì)算支持。點(diǎn)擊下圖進(jìn)入RK3588產(chǎn)品詳情頁(yè),即可了解關(guān)于FET3588-C核心板的更多產(chǎn)品詳情。
相關(guān)產(chǎn)品 >
-
FET3588-C核心板
RK3588芯片系列是Rockchip推出的旗艦級(jí)工業(yè)級(jí)產(chǎn)品,采用先進(jìn)的8nm制程工藝,集成4核Cortex-A76+4核Cortex-A55架構(gòu),A76主頻高達(dá)2.4GHz,A55核主頻高達(dá)1.8GHz,能夠提供強(qiáng)大的性能支撐。飛凌FET3588-C核心板經(jīng)過(guò)了嚴(yán)苛的環(huán)境溫度測(cè)試和壓力測(cè)試,確保在高端應(yīng)用中能夠穩(wěn)定運(yùn)行。您可以通過(guò)飛凌提供的rk3588開(kāi)發(fā)套件充分評(píng)估和驗(yàn)證其性能。
了解詳情 -
OK3588-C開(kāi)發(fā)板
rk3588系列板卡是飛凌嵌入式基于國(guó)產(chǎn)瑞芯微旗艦級(jí) RK3588處理器開(kāi)發(fā)設(shè)計(jì),集成了四核Cortex-A76和四核Cortex-A55,性能強(qiáng)大,可通過(guò)rk3588開(kāi)發(fā)板產(chǎn)品簡(jiǎn)介了解了rk3588功能特點(diǎn),評(píng)估芯片性能參數(shù),飛凌為RK3588提供了豐富的參考資料,包括rk3588原理圖、使用手冊(cè)、應(yīng)用筆記等,為便于客戶對(duì)開(kāi)發(fā)套件的參考,rk3588開(kāi)發(fā)板做了多重防護(hù)設(shè)計(jì),像靜電、浪涌、脈沖群等,產(chǎn)品穩(wěn)定可靠,值得推薦。
了解詳情