美林數據技術專家團隊|基于邊緣智能的作業現場安全落地實踐
2022-07-08 14:01:42
次
引言
隨著企業信息化、數字化、智能化進程的不斷推進，以人工智能為基礎的視頻智能識別分析，作用于施工作業現場人員的安全管控，成為一種更加精準、高效的方式。
傳統基于監控的事后人工核查方式，存在時空覆蓋不全，易造成漏查、未查等問題，基于邊緣智能的視頻分析技術，借助邊緣計算設備，在監控源頭提供近端智能分析服務，實現對違章行為的實時識別分析，智能化的解析出具體違章信息及人員信息，從而將視頻這種非結構數據轉化為結構化數據，為后續決策分析提供基礎。本文結合某廠房作業現場安全場景，介紹基于邊緣智能的作業現場安全落地相關實踐。
整體框架概述
本次檢測識別模型包括安全帽檢測、安全帶檢測、抽煙檢測和人臉識別，基于邊緣硬件可對視頻流進行實時分析，智能識別現場違規行為，并將違規行為的結構化信息和違規圖片，上傳至安全預警管控服務器進行存儲和展示，同時實現告警信息與現場告警喇叭的聯動，實現現場違規行為的實時告警，整體部署框架如下圖所示：
數據采集包括全局攝像頭和人臉采集裝置，全局攝像頭采集的數據一方面連接硬盤錄像機進行存儲，另一方面連接邊緣計算設備進行檢測; 人臉采集裝置將規整后的人臉信息存入人臉數據庫，以實現對人員身份信息進行識別。對于檢測的違章情況，通過MQTT傳輸至安全預警管控服務器進行管理，同時結合違章信息通過告警喇叭進行警告。預警可視化從安全預警管控服務器中抽取違章信息進行統計展示，并在核查后可直接生成報表。
關鍵技術概述
由于廠房區域比較開闊及設備多樣，常規基于槍機的采集方法及通用模型檢測方式，會對模型檢測精度產生較大影響。在實際場景落地時，除了模型本身調優之外，我們從PTZ跟蹤變焦、事件檢測和小目標檢測技術來保證模型檢測精度，同時配合模型調度來保證多模型并發執行效率。
?PTZ跟蹤變焦
PTZ跟蹤變焦采用海康全結構化雙800萬全局攝像頭實現，當全景攝像頭檢測到人員進入時，會啟動對人員的跟蹤，同時聯動球機變焦，對人員進行連續抓拍，示意如下：
另，對于場景中有多個對象時，會將跟蹤對象放入隊列中，通過輪詢的方式實現對多人的跟蹤抓拍。由于全景攝像頭和細節球機坐標系不同，而在后續檢測結果合并時，需要將檢測結果轉換到統一坐標中，因此需在獲取抓拍圖片時記錄相應的坐標信息。
通過跟蹤變焦，可以實現遠距離目標的清晰抓拍，為后續遠距離人臉識別、小目標抽煙檢測等檢測模型提供高質量的數據，從數據層面來保證模型的檢測精度。
?事件檢測
事件檢測將傳統基于單幀的檢測方式轉換為基于多幀的決策，以減少模型誤判，保證模型的檢測精度。傳統單幀的檢測方式嚴重依賴模型的效果，一旦模型出現誤判，無法自我糾正；而基于多幀決策的方式，將多幀的結果進行匯總，并依據統計來判定是否為違規異常，從而大幅度較少模型的誤判，同時降低了模型學習優化的難度。
事件檢測基于內存數據庫實現對檢測結果的增刪改查，同時防止模型在檢測到異常時，不間斷觸發報警的情況，并可通過定時器來控制報警間隔。
小目標檢測基于兩階段檢測方式實現，以抽煙模型為例，示意如下：
基于兩階段的抽煙檢測流程，如上圖所示，第一階段采用基于Yolov4-tiny的手檢測模型，從整幅圖片中定位出手所在的區域，這樣可極大減少后續煙支檢測的計算量；第二階段，考慮到目標本身所包含的判別信息，采用語義分割模型來對煙支所在區域的像素進行區分，判斷是否有煙的存在，最終，完成抽煙的判定。通過這種方式，從流程上來保證模型的檢測精度。
?模型調度
模型調度采用TritonServer推理框架，其可以動態加載模型庫中的相關模型，實現多模型對GPU資源的調用和熱更新，客戶端通過HTTP方式實現模型服務的調用。本次落地后端實現框架包含TensorRT和C++，故借助其多后端支撐能力，實現基于C++backends擴展模型服務，從而實現多模型推理的部署調用，保證模型的服務能力。
綜上，針對作業現場安全管控，聚焦作業面積大、環境復雜、需實時告警等問題，借助PTZ變焦跟蹤、事件檢測、小目標檢測技術，從數據質量、業務流程、檢測流程上來保障模型檢測精度，同時結合邊緣設備和TritonServer推理框架，實現邊緣端多模型服務部署，以支撐作業現場多攝像頭、多模型實時違章檢測。在保障現場安全的同時，將視頻這種非結構數據轉化為結構化數據，為后續決策分析提供數據基礎。
Tempo商業智能平臺
Tempo人工智能平臺
Tempo數據工廠平臺
Tempo指標平臺
Tempo數據治理平臺
Tempo主數據管理平臺
首頁
陜公網安備 61019002000171號
