美林?jǐn)?shù)據(jù)技術(shù)專家團(tuán)隊(duì)干貨分享|基于Jetson Nano的抽煙檢測相關(guān)實(shí)踐
2021-12-01 09:26:53
次
隨著大數(shù)據(jù)、人工智能技術(shù)的不斷發(fā)展，視頻監(jiān)控技術(shù)越來越廣泛應(yīng)用于“智慧城市”、“平安城市”等公共安全項(xiàng)目，相比基于云端的視頻分析服務(wù)，人們更傾向于在靠近視頻源頭的邊緣設(shè)備如智能攝像頭上直接運(yùn)行模型，以降低網(wǎng)絡(luò)延遲、帶寬占用、部署成本及保護(hù)隱私。本文以抽煙檢測為例，來闡述在Jetson Nano這種計(jì)算資源有限的設(shè)備上，提供近端智能分析服務(wù)的相關(guān)實(shí)踐。
對于抽煙的檢測，在計(jì)算機(jī)視覺場景屬典型的小目標(biāo)檢測，這類目標(biāo)通常分辨率低、信息少、噪音多，會給檢測帶來較大的困難，首先，我們先來回顧一下基于深度學(xué)習(xí)的小目標(biāo)檢測常用的一些方法。
小目標(biāo)檢測常用技術(shù)
小目標(biāo)檢測常用技術(shù)有以下幾種：
基于多尺度滑動窗口的方法
通過對原圖構(gòu)建不同分辨率的圖像金字塔，并用分類器在不同層滑動來檢測不同尺度的目標(biāo)；
基于數(shù)據(jù)增強(qiáng)的方法
其基本思想是通過增加圖像中小目標(biāo)的數(shù)量來提升模型的效果，具體可采用過采樣的策略或是通過復(fù)制小目標(biāo)區(qū)域再粘貼的方法；
基于特征金字塔FPN的方法
其考慮網(wǎng)絡(luò)不同層的特征圖對信息的表達(dá)程度不一樣，淺層感受野較小，更適合小目標(biāo)檢測；
基于拼圖的方法
在不改變原圖大小的情況下，對圖片進(jìn)行按照網(wǎng)絡(luò)輸入分辨率進(jìn)行切分，組成一批數(shù)據(jù)，傳入網(wǎng)絡(luò)進(jìn)行檢測；
基于切圖的方法
其基本思想是選擇真值尺度和錨框接近的目標(biāo)進(jìn)行訓(xùn)練，代表方法有SNIP和SNIPER等；
基于自適應(yīng)錨框的方法
根據(jù)特定的任務(wù)來調(diào)優(yōu)預(yù)先設(shè)置的錨框，如可采用KMeans聚類算法來對數(shù)據(jù)集的邊框做聚類分析，找到合適的錨框尺寸。
具體針對抽煙場景，“煙”本身長寬比例較為特殊，且無明顯特征，并經(jīng)常有手遮擋的情況，因此，在實(shí)踐中，我們一方面采用自適應(yīng)錨框的方法來適應(yīng)煙的比例，同時配合數(shù)據(jù)增強(qiáng)的方法來增加煙的數(shù)量，另一方面，采用“先檢測手，再檢測煙”這種基于兩階段的檢測方法。由于我們是在邊緣設(shè)備上運(yùn)行模型，模型過大會造成實(shí)時性較差，這種兩階段的方法，可以極大降低目標(biāo)檢測難度，即可以用簡單的模型來實(shí)現(xiàn)，并可以很好地消除誤檢。
基于兩階段的抽煙檢測流程
為了加速模型在Jetson Nano上的運(yùn)行速度，我們基于TensorRT模型優(yōu)化加速框架，生成針對Nano GPU硬件優(yōu)化的模型文件，具體流程如下：
由于第一階段采用的檢測模型為Yolov4-tiny，而TensorRT中對其中的一些層的算子不支持，要生成優(yōu)化模型，需要結(jié)合DeepStream部署框架及TensorRT相關(guān)標(biāo)準(zhǔn)，實(shí)現(xiàn)對應(yīng)IPluginV2和IPluginCreator的接口：
基于Jetson Nano的抽煙檢測模型部署
抽煙檢測對接實(shí)時視頻流，在部署時采用DeepStream框架進(jìn)行部署：
首先對于輸入視頻流，采用H264等解碼器結(jié)合硬件進(jìn)行解碼，然后輸入模型，模型部分借助DeepStream的nvinfer接口來加載經(jīng)TensorRT優(yōu)化后的模型，并結(jié)合OSD展示檢測框、類別等，最終經(jīng)EGL等Sink進(jìn)行桌面展示。其中，對于檢測結(jié)果，可借助GstPlugin接口進(jìn)行結(jié)合業(yè)務(wù)進(jìn)行整合：
在抽煙檢測場景，我們基于此實(shí)現(xiàn)對于煙分割結(jié)果中煙類別的獲取、煙所在區(qū)域的獲取及抽煙違規(guī)的判定，并生成對應(yīng)的檢測元信息，經(jīng)消息轉(zhuǎn)換及消息Broker實(shí)現(xiàn)檢測結(jié)果的發(fā)送。
綜上，利用基于深度學(xué)習(xí)的小目標(biāo)檢測相關(guān)方法，借助Nano GPU硬件及DeepStream等軟件框架，可實(shí)現(xiàn)邊緣端的抽煙實(shí)時檢測，滿足智能監(jiān)控分析場景的實(shí)時性要求，并很好地降低了帶寬消耗、保護(hù)數(shù)據(jù)隱私，同時可結(jié)合云端存儲，實(shí)現(xiàn)事中實(shí)時報(bào)警、事后可追溯。
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標(biāo)平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林?jǐn)?shù)據(jù)
美林新聞
陜公網(wǎng)安備 61019002000171號
