本文主要介紹物聯(lián)網(wǎng)及工業(yè)互聯(lián)網(wǎng)、視頻和AI場(chǎng)景識(shí)別構(gòu)建AR視頻空間大數(shù)據(jù)平臺(tái)的簡(jiǎn)要方案。有技術(shù)、有產(chǎn)品、有方案。

目       錄

1.      應(yīng)用背景... 2

2.      系統(tǒng)框架... 2

3.      AI場(chǎng)景識(shí)別算法和硬件... 3

4.      AR視頻空間管理系統(tǒng)... 5

5.      物聯(lián)網(wǎng)及工業(yè)互聯(lián)網(wǎng)系統(tǒng)... 5

6.      用戶應(yīng)用終端... 7

7.      應(yīng)用效果... 9

1.   應(yīng)用背景

最近有三個(gè)項(xiàng)目的技術(shù)要求中明確有視頻和AI圖像場(chǎng)景識(shí)別的需求，并且占用了很大的篇幅描述場(chǎng)景需求，即包括硬件也包括軟件。物聯(lián)網(wǎng)、視頻AI場(chǎng)景識(shí)別、業(yè)務(wù)應(yīng)用的整體融合是發(fā)展的必然趨勢(shì)。

第一個(gè)項(xiàng)目是鋼鐵行業(yè)的安全雙控系統(tǒng)，要求實(shí)時(shí)識(shí)別危險(xiǎn)區(qū)域的人員安全行為、設(shè)備及環(huán)境的安全場(chǎng)景。

第二個(gè)項(xiàng)目是水務(wù)行業(yè)的智能化實(shí)驗(yàn)室系統(tǒng)，要求對(duì)人員進(jìn)行區(qū)域定位、行為識(shí)別、試驗(yàn)過(guò)程記錄等，同時(shí)與業(yè)務(wù)系統(tǒng)進(jìn)行關(guān)聯(lián)。

第三個(gè)項(xiàng)目是航空發(fā)動(dòng)機(jī)數(shù)據(jù)化制造系統(tǒng)，要求進(jìn)行勞保防護(hù)檢測(cè)、危險(xiǎn)動(dòng)作識(shí)別、人臉識(shí)別和故障設(shè)備定位等，同時(shí)與生產(chǎn)過(guò)程的質(zhì)量監(jiān)控、物流/人流、3D三維建模等進(jìn)行融合。

現(xiàn)在的項(xiàng)目需求呈現(xiàn)麻雀雖小五臟俱全的趨勢(shì)，不管項(xiàng)目大小，技術(shù)和業(yè)務(wù)要求涉及到方方面面。

本文主要介紹物聯(lián)網(wǎng)及工業(yè)互聯(lián)網(wǎng)、視頻和AI場(chǎng)景識(shí)別構(gòu)建AR視頻空間大數(shù)據(jù)平臺(tái)的簡(jiǎn)要方案。有技術(shù)、有產(chǎn)品、有方案。

視頻介紹：

2.   系統(tǒng)框架

AR視頻空間大數(shù)據(jù)平臺(tái)由四層組成：傳感器層、邊緣計(jì)算、應(yīng)用工具平臺(tái)層、應(yīng)用業(yè)務(wù)層。整體框架，如下圖：

3.   AI場(chǎng)景識(shí)別算法和硬件

智能視頻監(jiān)控系統(tǒng)整體建設(shè)方案以智能推理平臺(tái)為主，從數(shù)據(jù)采集終端獲取數(shù)據(jù)，通過(guò)網(wǎng)線網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)采集控制中心再通過(guò)網(wǎng)絡(luò)網(wǎng)線將數(shù)據(jù)推送至智能推理平臺(tái)中，搭配人工智能的軟硬件處理，最后以獲取到數(shù)據(jù)的分析結(jié)果進(jìn)行警報(bào)響應(yīng)。支持的算法，如下列表：

1	安全帽檢測(cè)	可對(duì)作業(yè)區(qū)域的人員進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到人員未佩戴安全帽，立即報(bào)警。
2	工作服檢測(cè)	可對(duì)進(jìn)入作業(yè)區(qū)域的人員進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到人員未穿著工作服，立即報(bào)警。
3	反光衣檢測(cè)	可對(duì)進(jìn)入作業(yè)區(qū)域的人員進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到人員未穿著反光衣，立即報(bào)警。。
4	禁區(qū)闖入檢測(cè)（區(qū)域入侵）	可對(duì)進(jìn)入作業(yè)區(qū)域的人員進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到人員，立即報(bào)警。
5	皮膚裸露檢測(cè)	可對(duì)進(jìn)入作業(yè)區(qū)域的人員進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到皮膚裸露，立即報(bào)警。
6	煙火檢測(cè)	可對(duì)作業(yè)區(qū)域內(nèi)的煙霧、火焰進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到煙霧火焰，立即報(bào)警。
7	抽煙檢測(cè)	可對(duì)進(jìn)入作業(yè)區(qū)域的人員進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到人員有抽煙，立即報(bào)警。
8	打電話檢測(cè)	可對(duì)進(jìn)入作業(yè)區(qū)域的人員進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到人員有打電話的動(dòng)作，立即報(bào)警。
9	室外漏油檢測(cè)	可對(duì)監(jiān)控區(qū)域內(nèi)設(shè)備漏油漏液進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到設(shè)備有漏油漏液，立即報(bào)警。
10	室內(nèi)漏油檢測(cè)	可對(duì)監(jiān)控區(qū)域內(nèi)設(shè)備漏油漏液進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到設(shè)備有漏油漏液，立即報(bào)警。
11	摔倒檢測(cè)	可對(duì)進(jìn)入作業(yè)區(qū)域的人員進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到人員有摔倒，立即報(bào)警。
12	人員離崗檢測(cè)	可對(duì)作業(yè)區(qū)域的人員進(jìn)行自動(dòng)識(shí)別，若未檢測(cè)人員，且超過(guò)離崗時(shí)間，立即報(bào)警。
13	睡崗檢測(cè)	可對(duì)監(jiān)控區(qū)域的人員進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到人員有趴桌睡覺(jué)，立即報(bào)警。
14	翻越圍欄	可對(duì)進(jìn)入圍欄區(qū)域的人員進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到人員，立即報(bào)警。
15	人員聚集	可對(duì)監(jiān)控區(qū)域的人員進(jìn)行自動(dòng)識(shí)別，若檢測(cè)到人員數(shù)量超過(guò)限值，立即報(bào)警。

基于數(shù)據(jù)流架構(gòu)的加速芯片，針對(duì)深度學(xué)習(xí)算法推斷功能的計(jì)算加速芯片，運(yùn)行不依賴任何指令集，從而避免了傳統(tǒng)處理器中因取指令及指令譯碼等帶來(lái)的芯片運(yùn)算性能損失。

芯片可以部署在AI邊緣計(jì)算盒子、AI智能計(jì)算主機(jī)和AI智能計(jì)算服務(wù)器上。硬件如下圖：

  硬件內(nèi)部嵌入系統(tǒng)管理系統(tǒng)，主要負(fù)責(zé)統(tǒng)計(jì)數(shù)據(jù)及視頻預(yù)覽頁(yè)面，對(duì)當(dāng)前信息進(jìn)行集成化展示，便于管理人員方便查看和管理，主要功能包括：控制臺(tái)、基礎(chǔ)服務(wù)、算法調(diào)度、開(kāi)放能力和系統(tǒng)管理。如下圖：

4.   AR視頻空間管理系統(tǒng)

視頻攝像頭和邊緣場(chǎng)景識(shí)別計(jì)算節(jié)點(diǎn)可以接入AR視頻空間管理系統(tǒng)，同時(shí)AR視頻空間管理系統(tǒng)與物聯(lián)網(wǎng)及工業(yè)互聯(lián)網(wǎng)系統(tǒng)進(jìn)行視頻和結(jié)構(gòu)化數(shù)據(jù)交互，管理系統(tǒng)配置好后，用戶應(yīng)用終端可以直接操作使用。

管理系統(tǒng)提供的功能包括：資源管理、存儲(chǔ)管理、標(biāo)簽管理、預(yù)案管理、系統(tǒng)接口、國(guó)標(biāo)級(jí)聯(lián)、平臺(tái)級(jí)聯(lián)、電子地圖、應(yīng)用鏈接、人員信息、權(quán)限管理和系統(tǒng)配置。管理系統(tǒng)如下圖：

5.   物聯(lián)網(wǎng)及工業(yè)互聯(lián)網(wǎng)系統(tǒng)

物聯(lián)網(wǎng)及工業(yè)互聯(lián)網(wǎng)系統(tǒng)主要功能包括：設(shè)備驅(qū)動(dòng)、服務(wù)驅(qū)動(dòng)、設(shè)備模型、業(yè)務(wù)模型、計(jì)算平臺(tái)、數(shù)據(jù)查詢、數(shù)據(jù)轉(zhuǎn)發(fā)、視圖建模、機(jī)器學(xué)習(xí)、視頻服務(wù)、消息管理、流程控制、控制日志、用戶權(quán)限、實(shí)時(shí)日志和算法分析。

（1）設(shè)備驅(qū)動(dòng)，支持物聯(lián)網(wǎng)設(shè)備驅(qū)動(dòng)的二次開(kāi)發(fā)和設(shè)備驅(qū)動(dòng)上傳、編輯和刪除等管理。

（2）服務(wù)驅(qū)動(dòng)，支持物聯(lián)網(wǎng)服務(wù)（算法、數(shù)據(jù)統(tǒng)計(jì)、業(yè)務(wù)應(yīng)用等）驅(qū)動(dòng)的二次開(kāi)發(fā)和服務(wù)驅(qū)動(dòng)上傳、編輯和刪除等管理，主要面向復(fù)雜數(shù)據(jù)處理、分析等應(yīng)用場(chǎng)景。

（3）設(shè)備模型，以物理世界構(gòu)建物聯(lián)網(wǎng)映射到系統(tǒng)，支持設(shè)備驅(qū)動(dòng)和服務(wù)驅(qū)動(dòng)的配置、管理和運(yùn)行，包括設(shè)備信息、數(shù)據(jù)點(diǎn)、計(jì)算預(yù)警等。

（4）業(yè)務(wù)模型，支持根據(jù)業(yè)務(wù)重構(gòu)設(shè)備及數(shù)據(jù)邏輯關(guān)系，支持構(gòu)建復(fù)雜業(yè)務(wù)模型。

（5）計(jì)算平臺(tái)，支持?jǐn)?shù)學(xué)運(yùn)算符和函數(shù)對(duì)數(shù)據(jù)點(diǎn)進(jìn)行復(fù)雜的計(jì)算，支持創(chuàng)建多個(gè)計(jì)算任務(wù)，支持邏輯規(guī)劃推理，并對(duì)結(jié)果進(jìn)行消息推送。

（6）數(shù)據(jù)查詢，支持以圖型和列表的形式查詢數(shù)據(jù)，支持圖型和列表數(shù)據(jù)的導(dǎo)出。

（7）數(shù)據(jù)轉(zhuǎn)發(fā)，可以選擇自定義數(shù)據(jù)點(diǎn)，把數(shù)據(jù)點(diǎn)通過(guò)網(wǎng)絡(luò)轉(zhuǎn)發(fā)到其他系統(tǒng)中。

（8）視圖建模，物理硬件數(shù)據(jù)建模與實(shí)時(shí)展示的問(wèn)題，對(duì)現(xiàn)實(shí)場(chǎng)景進(jìn)行抽象視圖快速構(gòu)建，支持2D/3D視圖建模，綁定和展示接入設(shè)備實(shí)時(shí)數(shù)據(jù)。

（9）機(jī)器學(xué)習(xí)，數(shù)據(jù)深度挖掘的問(wèn)題，對(duì)設(shè)備接入的數(shù)據(jù)進(jìn)行過(guò)濾、補(bǔ)數(shù)、工況標(biāo)記、選擇機(jī)器學(xué)習(xí)算法，自動(dòng)訓(xùn)練模型和工況預(yù)測(cè)。現(xiàn)在支持決策樹(shù)和聚類算法，也可以自定義算法，滿足物聯(lián)網(wǎng)數(shù)據(jù)的模型訓(xùn)練和模型預(yù)測(cè)。

（10）視頻轉(zhuǎn)換，提供了在線實(shí)時(shí)視頻流轉(zhuǎn)換服務(wù)，把rtsp協(xié)議轉(zhuǎn)換成rtmp協(xié)議或websocket協(xié)議，滿足低延時(shí)實(shí)時(shí)在組態(tài)上顯示視頻流的需求。工業(yè)場(chǎng)景矢量園元、圖表和視頻可以集成到一個(gè)組態(tài)頁(yè)面上展示。

（11）消息管理，支持預(yù)警和系統(tǒng)消息查詢。

（12）流程控制，聯(lián)動(dòng)控制平臺(tái)支持在線開(kāi)發(fā)業(yè)務(wù)腳本，支持多個(gè)生產(chǎn)過(guò)程聯(lián)動(dòng)控制任務(wù)， 腳本引擎支持6個(gè)內(nèi)置函數(shù)：控制命令（ctrl）、控制延遲（delay）、控制啟動(dòng)（start）、控制停止（stop）、最新數(shù)值（getvalue）和打印日志（log）。

（13）控制日志，可以查詢手動(dòng)和自動(dòng)控制操作過(guò)程記錄信息。

（14）用戶權(quán)限，增加、編輯和刪除用戶，權(quán)限有：工具權(quán)限、應(yīng)用權(quán)限和數(shù)據(jù)點(diǎn)權(quán)限。

（15）實(shí)時(shí)日志，可以實(shí)時(shí)查看后臺(tái)服務(wù)運(yùn)行和調(diào)試過(guò)程。

（16）算法分析，對(duì)當(dāng)前數(shù)據(jù)點(diǎn)進(jìn)行數(shù)據(jù)的基本匯總統(tǒng)計(jì)：數(shù)據(jù)量、均值、最大值和最小值等。現(xiàn)在的算法分析平臺(tái)包括：快速傅里葉變換、包絡(luò)分析、倒頻譜和自相關(guān)等。

應(yīng)用界面如下圖：

6.   用戶應(yīng)用終端

用戶應(yīng)用終端功能相關(guān)的配置信息說(shuō)明：

1)   地圖入口屏：在Web后臺(tái)管理系統(tǒng)的服務(wù)管理和地圖配置中配置

2)   預(yù)覽通道：在Web后臺(tái)管理系統(tǒng)中資源管理中的導(dǎo)入設(shè)備信息和通道信息

3)   報(bào)警：在Web后臺(tái)管理系統(tǒng)中的預(yù)案管理中配置自動(dòng)預(yù)案信息、在系統(tǒng)對(duì)接中添加第三方的報(bào)警系統(tǒng)信息、關(guān)聯(lián)對(duì)應(yīng)的抓拍攝像機(jī)信息

4)   鏈接：在Web后臺(tái)管理的第三方鏈接中配置需要鏈接的第三方鏈接信息

5)   相對(duì)位置標(biāo)簽（PT標(biāo)簽）：普通球機(jī)需在視場(chǎng)角測(cè)試工具中導(dǎo)入設(shè)備的視場(chǎng)角模板或手動(dòng)測(cè)試視場(chǎng)角信息

6)   自動(dòng)標(biāo)簽和手動(dòng)經(jīng)緯度標(biāo)簽：Web后臺(tái)管理系統(tǒng)中添加自動(dòng)標(biāo)簽規(guī)則模板、內(nèi)容管理平臺(tái)中關(guān)聯(lián)對(duì)應(yīng)的自動(dòng)標(biāo)簽規(guī)則、內(nèi)容管理平臺(tái)中配置圖層距離、Web服務(wù)、設(shè)備的可視域范圍、需配置標(biāo)簽服務(wù)、MQ服務(wù)、一機(jī)一檔信息、設(shè)備的高度、視場(chǎng)角模板信息、設(shè)備的經(jīng)緯度、設(shè)備的倍率

7)   POI自動(dòng)標(biāo)簽：需用POI下載工具下載POI資源、導(dǎo)入到數(shù)據(jù)庫(kù)、在Web后臺(tái)管理系統(tǒng)中添加POI自動(dòng)標(biāo)簽規(guī)則模板、在內(nèi)容管理平臺(tái)中添加POI自動(dòng)標(biāo)簽規(guī)則并關(guān)聯(lián)POI資源、配置標(biāo)簽服務(wù)、MQ服務(wù)

8)   居民信息標(biāo)簽：需要先Web后臺(tái)管理系統(tǒng)中的住戶信息管理中導(dǎo)入房屋、住戶信息模板

9)   VR虛擬全景標(biāo)簽：需要先在Web后臺(tái)管理系統(tǒng)中的設(shè)備管理和通道管理中添加VR虛擬設(shè)備信息和通道信息

10) 平臺(tái)級(jí)聯(lián)：需先在Web后臺(tái)管理系統(tǒng)中的平臺(tái)級(jí)聯(lián)中添加相關(guān)的平臺(tái)信息

11) 室內(nèi)3D地圖標(biāo)簽：需要先Web后臺(tái)管理系統(tǒng)中的電子地圖中添加3D模型

12) 執(zhí)法儀、布控球：需先在相關(guān)設(shè)備端配置對(duì)應(yīng)的連接信息、配置移動(dòng)網(wǎng)關(guān)服務(wù)、在Web后臺(tái)管理系統(tǒng)中的系統(tǒng)對(duì)接中的移動(dòng)設(shè)備中添加執(zhí)法儀、布控球設(shè)備和通道信息

13) 錄像：配置存儲(chǔ)服務(wù)、在Web后臺(tái)管理系統(tǒng)中的存儲(chǔ)管理中關(guān)聯(lián)服務(wù)器的磁盤(pán)信息、相關(guān)通道、添加存儲(chǔ)計(jì)劃

14) 國(guó)標(biāo)級(jí)聯(lián)：配置國(guó)標(biāo)服務(wù)、流媒體服務(wù)、cmms中心服務(wù)、設(shè)備網(wǎng)關(guān)服務(wù)、在Web后臺(tái)管理系統(tǒng)中的國(guó)標(biāo)級(jí)聯(lián)中添加上下級(jí)平臺(tái)信息、同步上下級(jí)平臺(tái)中的通道信息、導(dǎo)入國(guó)標(biāo)數(shù)據(jù)、更新到國(guó)標(biāo)服務(wù)

15) 周邊數(shù)據(jù)看板配置：在Web后臺(tái)管理系統(tǒng)系統(tǒng)配置中的看板配置中添加相關(guān)展示資源信息

16) 地圖巡邏：需在Web后臺(tái)管理系統(tǒng)中的電子地圖中的地圖巡邏中添加巡邏路線、巡邏車模型的速度、巡邏時(shí)的攝像機(jī)

17) 警衛(wèi)路線：需在Web后臺(tái)管理系統(tǒng)中的電子地圖中的警衛(wèi)路線中添加巡邏路線、車載視頻通道、沿途視頻通道、巡邏車模型的速度

18) 離線地圖：需在Web后臺(tái)管理系統(tǒng)電子地圖中的地圖配置修改地圖的配置、在Web服務(wù)中的cs文件的amap中添加離線地圖瓦片

19) 無(wú)人機(jī)：在Web后臺(tái)管理系統(tǒng)資源管理中的設(shè)備管理和通道管理中添加無(wú)人機(jī)信息、添加無(wú)人機(jī)ID、選擇無(wú)人機(jī)的取流方式、添加無(wú)人機(jī)的取流URL地址

20) 報(bào)警柱：在Web后臺(tái)管理系統(tǒng)資源管理中的設(shè)備管理和通道管理頁(yè)面中添加報(bào)警柱設(shè)備和通道

21) AR標(biāo)題logo：在Web后臺(tái)管理系統(tǒng)的基礎(chǔ)信息設(shè)置頁(yè)碼上傳logo圖片

22) 人臉/車輛抓拍記錄：在Web后臺(tái)管理系統(tǒng)的系統(tǒng)對(duì)接中添加人臉/車輛抓拍系統(tǒng)并同步抓拍系統(tǒng)中的抓拍攝像機(jī)

23) 地圖網(wǎng)格：在Web后臺(tái)管理系統(tǒng)的電子地圖中的地圖網(wǎng)格頁(yè)面添加

24) 防護(hù)圈：在Web后臺(tái)管理系統(tǒng)的電子地圖中的地圖網(wǎng)格頁(yè)面添加，并啟動(dòng)

主要分為四大部分：全景展示、預(yù)案管理、智能報(bào)警管理、標(biāo)簽管理。其中，全景展示主要包括：全景視頻展示、局部視頻展示等模塊；預(yù)案管理主要包括：預(yù)案巡航、自動(dòng)報(bào)警預(yù)案等功能；智能報(bào)警管理主要包括：報(bào)警彈窗、報(bào)警記錄、報(bào)警錄像等功能。

登陸應(yīng)用終端，顯示當(dāng)前接入視頻的統(tǒng)計(jì)信息和電子地圖，如下圖：

  單擊區(qū)域下的攝像頭，demo事例應(yīng)用，如下圖：

7.   應(yīng)用效果

實(shí)景智能管理平臺(tái)是基于物聯(lián)網(wǎng)、增強(qiáng)現(xiàn)實(shí)、智能分析、GIS、大數(shù)據(jù)與軟件集成等多種先進(jìn)技術(shù)，構(gòu)建的實(shí)景式、網(wǎng)格化立體防控系統(tǒng)，實(shí)現(xiàn)在統(tǒng)一門(mén)戶下完成廠區(qū)重點(diǎn)區(qū)域的安保防控業(yè)務(wù)。

系統(tǒng)支持將實(shí)體生產(chǎn)制造及物流設(shè)備的實(shí)時(shí)數(shù)據(jù)，將企業(yè)的生產(chǎn)過(guò)程、設(shè)備運(yùn)行情況、質(zhì)量跟蹤狀態(tài)各種數(shù)據(jù)集成展示，完成實(shí)體信息、經(jīng)營(yíng)管理、生產(chǎn)流程數(shù)據(jù)的無(wú)縫結(jié)合，達(dá)到信息充分共享，有利于實(shí)時(shí)監(jiān)控防范損失、減少開(kāi)支，提高生產(chǎn)效率, 實(shí)現(xiàn)企業(yè)車間生產(chǎn)過(guò)程的可視化實(shí)時(shí)監(jiān)控，為企業(yè)打造“智慧型生產(chǎn)工廠”。

---

物聯(lián)網(wǎng)&大數(shù)據(jù)技術(shù) QQ群：54256083

物聯(lián)網(wǎng)&大數(shù)據(jù)項(xiàng)目 QQ群：727664080
QQ：504547114
微信：wxzz0151
博客：http://www.rzrgm.cn/lsjwq
微信公眾號(hào)：iNeuOS