夜夜爽一区二区三区精品,精品一区二区三区免费毛片爱,日本美女一区二区三区,色窝窝无码一区二区三区色欲

美林?jǐn)?shù)據(jù)
ABOUT US
美林?jǐn)?shù)據(jù)技術(shù)股份有限公司(簡稱:美林?jǐn)?shù)據(jù),NEEQ:831546)是國內(nèi)知名的數(shù)據(jù)治理和數(shù)據(jù)分析服務(wù)提供商。

工業(yè)大數(shù)據(jù)分析 | 淺談工業(yè)數(shù)據(jù)獲取與解析

2022-10-20 17:55:00
01 為什么關(guān)心工業(yè)數(shù)據(jù)的獲取與解析問題?
簡單來說,是由于工業(yè)數(shù)據(jù)的來源、分類、特性、數(shù)據(jù)結(jié)構(gòu)以及通信協(xié)議等諸多方面都具有多樣性,且此類多樣性影響著工業(yè)數(shù)據(jù)的獲取,進而影響到后續(xù)圍繞工業(yè)數(shù)據(jù)管理與綜合利用的各類系統(tǒng)的規(guī)劃與構(gòu)建。
智能制造技術(shù)體系中所需要的人工智能技術(shù),以及基于數(shù)據(jù)驅(qū)動構(gòu)建模型的理念等為包括柔性制造、精益制造以及故障預(yù)測與健康管理(PHM)等在內(nèi)的多類工業(yè)應(yīng)用軟件提供了新的發(fā)展方向,并產(chǎn)生了包括數(shù)字孿生(DT)、信息物理系統(tǒng)(CPS)等多種新興量化深度融合成果。但不難發(fā)現(xiàn),以上應(yīng)用均基于對工業(yè)現(xiàn)場信息的深度感知:通過與傳感器、PLC控制器以及嵌入式系統(tǒng)等實體通信,獲取設(shè)備的實時運行狀態(tài),進而開展數(shù)據(jù)內(nèi)涵的深度分析應(yīng)用,從數(shù)字化應(yīng)用角度講,這就是工業(yè)數(shù)據(jù)的獲取與解析過程。
工業(yè)數(shù)據(jù)
從信息化角度,理想的工業(yè)數(shù)據(jù)來源是各種數(shù)據(jù)庫,包括結(jié)構(gòu)化、非結(jié)構(gòu)化、時序數(shù)據(jù)庫和消息服務(wù)器等,后者比如MQTT broker 或Kafka 服務(wù)器,乃至簡單的 Redis 服務(wù)器等。此類數(shù)據(jù)來源使得軟件開發(fā)可以從數(shù)據(jù)架構(gòu)設(shè)計開始,可通過軟件API或者基于http的RPC協(xié)議實現(xiàn)對數(shù)據(jù)源的連接、訪問乃至事務(wù)處理(OLTP)或分析展現(xiàn)(OLAP)。
但工業(yè)制造現(xiàn)場實際狀況卻并非如此。在包括機加、鈑金、焊接、輥彎、裝配等制造過程以及伴生的質(zhì)檢、型架定位、工裝輔助、物流配送、試驗驗證中使用了大量手動、半自動以及自動化生產(chǎn)設(shè)備,此類設(shè)備的生產(chǎn)廠家、采購時間、應(yīng)用領(lǐng)域、遵循標(biāo)準(zhǔn)等往往并不相同,唯一相同的是各類設(shè)備的首要目標(biāo)都是完成各種生產(chǎn)制造任務(wù),從IT和數(shù)據(jù)的角度往往忽視了對此類設(shè)備中存在數(shù)據(jù)的獲取進行規(guī)范?;谶@樣的工業(yè)生產(chǎn)實際,要求在特定的信息化任務(wù)中對其進行改造升級或替換并不現(xiàn)實,更常見的做法是基于數(shù)字化轉(zhuǎn)型提升訴求,適應(yīng)生產(chǎn)實際調(diào)整軟件系統(tǒng)的數(shù)據(jù)接入能力。
綜合以上分析,在構(gòu)建面向工業(yè)領(lǐng)域的智能化系統(tǒng)時,我們需要對工業(yè)數(shù)據(jù)的獲取具備以下認(rèn)知:
?充分了解現(xiàn)場工業(yè)數(shù)據(jù)的多樣性,從而理解工業(yè)現(xiàn)場數(shù)據(jù)狀況與理想數(shù)據(jù)狀態(tài)之間的差距,并以此在方案設(shè)計時做出調(diào)整措施。
? 務(wù)必動手測試現(xiàn)場工業(yè)數(shù)據(jù)的連接與解析可行性,并查看實際數(shù)據(jù)情況,確保技術(shù)設(shè)計選型科學(xué)合理且落地可用。
?準(zhǔn)確評估數(shù)據(jù)連接工作的難度,根據(jù)業(yè)務(wù)需求估算連接現(xiàn)場工業(yè)數(shù)據(jù)所需的準(zhǔn)備工作難度與工作量,以供項目論證分析決策參考。
本文以下內(nèi)容基于上述分析進一步展開說明。首先介紹工業(yè)數(shù)據(jù)的定義并討論其多樣性問題,然后介紹工業(yè)數(shù)據(jù)的連接與解析,最后討論在開發(fā)數(shù)據(jù)密集型工業(yè)系統(tǒng)時需考慮的核心方面。

02 什么是工業(yè)數(shù)據(jù)?
從概念上看,我們所討論的工業(yè)數(shù)據(jù),是用于表達工業(yè)制造、試驗、運行過程中會隨時間、工況、操作條件等因素發(fā)生改變的,某種系統(tǒng)狀態(tài)的定量或定性數(shù)據(jù)。舉例來說,工業(yè)數(shù)據(jù)包括設(shè)備的溫度、壓力、流量、加速度等隨時間變化的物理參量,以及系統(tǒng)監(jiān)控、告警、維護信息等。
既可以利用此類數(shù)據(jù)進行面向工業(yè)領(lǐng)域的數(shù)據(jù)深度分析、智能模型開發(fā)工作與決策可視展示,也可以將其提供給各類細分專業(yè)業(yè)務(wù)系統(tǒng),對其進行進一步的利用。比如在數(shù)字物理系統(tǒng)中,采集到的外部載荷信息會通過仿真方法快速轉(zhuǎn)化為內(nèi)部關(guān)鍵設(shè)備的應(yīng)力分布、溫度場分布等結(jié)果,從而結(jié)合一定的優(yōu)化匹配方法實現(xiàn)對設(shè)備內(nèi)部運行狀態(tài)的自動控制、優(yōu)化控制。
1.工業(yè)數(shù)據(jù)的多樣性:
依據(jù)工業(yè)數(shù)據(jù)的多樣性,在技術(shù)研究與應(yīng)用場景中存在多種分類方法,下圖以工業(yè)信號數(shù)據(jù)為例給出示例,該示例同時給出了同樣的工業(yè)信號數(shù)據(jù)類型下,不同應(yīng)用情景下的信號數(shù)據(jù)之間存在的巨大差異。

信號數(shù)據(jù)的分類
△信號數(shù)據(jù)的分類
從IT角度,我們將工業(yè)數(shù)據(jù)分為實時數(shù)據(jù)流與靜態(tài)數(shù)據(jù)文件兩類。其中實時數(shù)據(jù)流直接來自工業(yè)現(xiàn)場,靜態(tài)數(shù)據(jù)文件是對不方便直接獲取的工業(yè)數(shù)據(jù),以及過往數(shù)據(jù)的歷史記錄,兩類數(shù)據(jù)的獲取與解析分別存在需要重點關(guān)注的問題。
2.工業(yè)實時數(shù)據(jù)流的獲取
工業(yè)實時數(shù)據(jù)獲取是對工業(yè)設(shè)備運行狀態(tài)的實時感知,是PHM與數(shù)字孿生等系統(tǒng)構(gòu)建的基礎(chǔ)。如果制造側(cè)并未實現(xiàn)工業(yè)數(shù)據(jù)的獲取與匯總,則面向工業(yè)數(shù)據(jù)分析的信息化系統(tǒng)側(cè)就必須考慮該問題,尋求將工業(yè)現(xiàn)場的數(shù)據(jù)實時有效采集至數(shù)據(jù)庫/消息服務(wù)器/緩存服務(wù)器。一般而言,需要充分識別待采集對象特征,以判別數(shù)據(jù)的獲取方式。
1)待采集數(shù)據(jù)對象
無論實際設(shè)備的功能是什么,在數(shù)據(jù)采集環(huán)節(jié)通常需要連接以下設(shè)備:
PLC(可編程邏輯控制器):PLC具有高實時性,并具有類似繼電器能力的物理作動能力,PLC應(yīng)用于大量制造業(yè)自動化設(shè)備,是制造業(yè)自動化設(shè)備中最常用的控制單元。

工業(yè)自動化設(shè)備的核心控制元件
△PLC是工業(yè)自動化設(shè)備的核心控制元件
PLC設(shè)備通常提供RS232\RS485\RJ45等物理接口,并提供包括Modbus,ProfiBus等通信協(xié)議支持,但是由于PLC本身的架構(gòu)限制,對其數(shù)據(jù)的訪問通常只能通過物理地址(寄存器地址)訪問與解碼。
 嵌入式系統(tǒng):嵌入式系統(tǒng)包括微控制單位(MCU),數(shù)字控制系統(tǒng)(DCS)等多種形式,可視為與機械、電氣設(shè)備整合的PC機。與PLC相比,嵌入式系統(tǒng)具有完整的圖靈機架構(gòu),自帶操作系統(tǒng),能提供良好人機交互界面,可以開發(fā)出復(fù)雜度較高的應(yīng)用軟件系統(tǒng),并可以在很多領(lǐng)域替代PLC使用(如倍福系列產(chǎn)品)。
嵌入式系統(tǒng)本質(zhì)是PC設(shè)備,因此理論上可以使用常規(guī)的PC通信方式如HTTP/FTP協(xié)議獲取其內(nèi)部數(shù)據(jù)。但是在實際應(yīng)用中,嵌入式系統(tǒng)軟件以設(shè)備正確運作為優(yōu)先任務(wù),基于安全與商業(yè)的考量并不開放數(shù)據(jù)訪問權(quán)限,因此往往需要通過購買專門的軟件API接口獲取數(shù)據(jù)。
SCADA(數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)):SCADA是基于信息化側(cè)要求所構(gòu)建的專用工業(yè)數(shù)據(jù)采集系統(tǒng),既包括安裝于工控機的專用設(shè)備數(shù)據(jù)采集軟件,也包括通用的基于開放協(xié)議標(biāo)準(zhǔn)的各類邊緣盒子。
數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)
由于SCADA系統(tǒng)的構(gòu)建目標(biāo)就是為信息化系統(tǒng)采集工業(yè)數(shù)據(jù),因此通常具有便利的數(shù)據(jù)獲取接口。新興的工業(yè)邊緣采集設(shè)備還能支持包括MQTT等物聯(lián)網(wǎng)協(xié)議和Restful API等遠程調(diào)用服務(wù)。
然而,這類系統(tǒng)存在以下局限性:
基于開放技術(shù)協(xié)議的數(shù)據(jù)采集設(shè)備要求工業(yè)設(shè)備原生支持OPC等開發(fā)協(xié)議,現(xiàn)實中的設(shè)備通常不能保證這一點;
面向特定設(shè)備群及應(yīng)用場景開發(fā)的SCADA系統(tǒng)造價昂貴,常用于核電系統(tǒng)等專業(yè)領(lǐng)域,難以推廣普及。
2)基于各類通信協(xié)議的數(shù)據(jù)獲取方式
在實際工業(yè)場景中存在多種通信協(xié)議,并且分布在計算機網(wǎng)絡(luò)架構(gòu)中的多個層級。比如在物理層,一般的設(shè)備會以 RS232/485 接口和各種帶寬的以太網(wǎng)接口為主,其它類型如光纖、雙絞線或者無線連接也可能存在。此類差異需要在相應(yīng)的開發(fā)工作中予以注意,但通常并不影響到軟件本身的設(shè)計。從軟件開發(fā)可行性與架構(gòu)設(shè)計的立場考量,可以將多種通信協(xié)議簡要區(qū)分為三種模式。
數(shù)據(jù)獲取方式
基于物理地址的主動訪問
該訪問方式主要用于PLC等較基礎(chǔ)的控制設(shè)備,其代表協(xié)議為Modbus。由于設(shè)備運行程序較為簡單,并沒有提供友好的通信協(xié)議,只能通過指定物理地址獲取設(shè)備上的相關(guān)控制量與物理量,這種物理地址可能是若干字節(jié),也可能是某個字節(jié)中的一位。由于這種情形下無法借助設(shè)備將變量數(shù)值與具體的物理量關(guān)聯(lián),必須借助被稱為“點表”的文件構(gòu)建關(guān)聯(lián)。點表來自設(shè)備提供方,下圖是一個點表的示例,為簡單起見僅選取其中21個狀態(tài)量進行表示,實際設(shè)備所含狀態(tài)量可能達到數(shù)百個。
該表給出了每個狀態(tài)量對應(yīng)的Modbus寄存器地址,因此可以通過該協(xié)議訪問這些地址,以獲得相應(yīng)的狀態(tài)信息。表中前16個狀態(tài)數(shù)據(jù)為布爾量,在寄存器中,每個量只占有一個bit,后五個狀態(tài)數(shù)據(jù)為實數(shù),即浮點數(shù)(f16),在寄存器中這五個狀態(tài)量每個狀態(tài)量占有兩個byte,以上信息可由點表中的地址信息獲取。
用于關(guān)聯(lián)物理地址與對應(yīng)狀態(tài)量的點表
△用于關(guān)聯(lián)物理地址與對應(yīng)狀態(tài)量的點表
基于變量名稱的主動訪問
具有類PC架構(gòu)的設(shè)備通常提供較為高級的接口服務(wù)。例如 OPC-UA 或 ADS 協(xié)議,新的嵌入式設(shè)備可能提供包括Restful API 在內(nèi)的網(wǎng)絡(luò)通信能力。這些協(xié)議或者通過專用API,或者通過通用接口協(xié)議(如HTTP),提供了多種設(shè)備狀態(tài)信息訪問的能力。一般的,此類設(shè)備也可能提供基于物理地址的訪問方式,其中OPC-UA基本屬于行業(yè)標(biāo)準(zhǔn),是工業(yè)領(lǐng)域最常用的通信協(xié)議之一。
基于推送機制的被動訪問
新的自動化設(shè)備與工業(yè)數(shù)據(jù)采集盒子會提供面向MQTT broker 甚至 Kafka 消息服務(wù)器的推送服務(wù),因此只需要訂閱相關(guān)事件即可。此類數(shù)據(jù)獲取方式在目前的IOT領(lǐng)域中較為常用,其基于事件的推送方式結(jié)合物聯(lián)網(wǎng)環(huán)境下的云邊協(xié)同技術(shù)能夠滿足很多物聯(lián)網(wǎng)應(yīng)用場景。但如PHM等工業(yè)應(yīng)用如果要基于等間隔采樣原始數(shù)據(jù)展開工作,則此種方式存在效率不高的限制。
工業(yè)數(shù)據(jù)分析
上述三類數(shù)據(jù)獲取策略各有利弊,并且在每種數(shù)據(jù)獲取類型中,不同的通信協(xié)議往往具有不同的通信性能,需要基于工業(yè)現(xiàn)場實際和業(yè)務(wù)需求進一步明確和分析選型。
基于經(jīng)驗,如果構(gòu)建基于工業(yè)數(shù)據(jù)分析的應(yīng)用,可以首先考慮基于物理尋址的方式。因為工業(yè)數(shù)據(jù)分析應(yīng)用往往要求采集全量數(shù)據(jù),在此方式下使用寄存器首位地址結(jié)合數(shù)組類型,可簡化數(shù)據(jù)傳遞的計算復(fù)雜度,并減少數(shù)據(jù)查詢次數(shù)。其代價是需要將獲取的查詢結(jié)果重新轉(zhuǎn)碼解析后分解到各參量,相當(dāng)于用計算資源換取網(wǎng)絡(luò)性能。
如果構(gòu)建基于事務(wù)型、決策看板型的應(yīng)用,可以優(yōu)先考慮基于變量名通信的方式,此類方式可以按需求獲取指定的數(shù)據(jù)內(nèi)容,并且易于配置、變更。選型應(yīng)優(yōu)先考慮行業(yè)常用協(xié)議如OPCUA等。
如果應(yīng)用具有云邊協(xié)同架構(gòu),則推送機制是連接邊緣側(cè)設(shè)備與云平臺的可選策略,其工業(yè)應(yīng)用偏向事件驅(qū)動模式。
2. 靜態(tài)數(shù)據(jù)文件中數(shù)據(jù)的獲取
除實時數(shù)據(jù)外,工業(yè)領(lǐng)域還存在大量的靜態(tài)文件需要被解析,主要是由于以下原因:
1)歷史數(shù)據(jù)
大型制造企業(yè)建立初期往往缺少現(xiàn)代信息化系統(tǒng)所提供的數(shù)據(jù)服務(wù)支持,但其完善的質(zhì)量管理體系和較好的制造控制能力使其在過往的制造過程中留存了大量數(shù)據(jù),此類歷史數(shù)據(jù)通常以文件的形式保留。
2)高采樣數(shù)據(jù)
對非平穩(wěn)運行狀態(tài)的監(jiān)視需要使用非常高的采樣率。如對某類發(fā)動機點火階段震顫狀態(tài)的觀測,需要用到每秒數(shù)萬次的采樣測量。如此采樣率會在短時間內(nèi)產(chǎn)生大量數(shù)據(jù),遠程直接連接采集數(shù)據(jù)會造成網(wǎng)絡(luò)堵塞或數(shù)據(jù)丟失。因此常用方式是直接在測試端設(shè)備上留存數(shù)據(jù),然后以文件形式傳遞。
工業(yè)數(shù)據(jù)分析
3)第三方數(shù)據(jù)
當(dāng)設(shè)備的使用方與設(shè)備的生產(chǎn)方、運維方不是同一實體時無法直接獲取數(shù)據(jù)。比如列車運行數(shù)據(jù)或風(fēng)電場運行數(shù)據(jù)可供設(shè)備生產(chǎn)方用以分析其產(chǎn)品質(zhì)量,這種數(shù)據(jù)轉(zhuǎn)移需要通過數(shù)據(jù)交易、權(quán)限管理等,目前使用文件的形式傳遞居多。
在數(shù)據(jù)密集型工業(yè)應(yīng)用系統(tǒng)構(gòu)建時,對靜態(tài)數(shù)據(jù)文件的解析主要面臨多種文件類型問題,實際存在的靜態(tài)數(shù)據(jù)文件類型包括并不限于:txt, csv, dat, xls(x), mat, wav, d7d(dxd), zd, arrow, parquet等。其中,部分文件類型中數(shù)據(jù)存儲方式還存在多樣化情形。
從IT數(shù)據(jù)結(jié)構(gòu)角度,可將以上文件類型區(qū)分為以下幾類:
明碼文件
 txt,csv 以及 部分 dat 文件。此類文件可以使用所有文本編輯軟件打開直接查看其數(shù)據(jù),其數(shù)據(jù)結(jié)構(gòu) (schema) 可以直接觀察 , 數(shù)據(jù)的類型也可直接了解,文件的析取方式較為簡單,但其數(shù)據(jù)儲存效率較低,被手動改變的風(fēng)險較高,并且在讀取時需要注意文檔內(nèi)非數(shù)據(jù)部分信息的處理,以及進行文本到數(shù)值的轉(zhuǎn)碼。
明碼數(shù)據(jù)
△某種明碼數(shù)據(jù)示例:數(shù)據(jù)的schema與類型可觀測

序列化緩沖 (serialized buffer) 文件
此類文件內(nèi)含數(shù)據(jù)以二進制字節(jié)表示,可以用UE或其它支持16進制數(shù)據(jù)析取展示的工具進行查看。文件的后綴名可能是dat, zd, tdms 等多種名稱。數(shù)據(jù)經(jīng)由內(nèi)存中數(shù)據(jù)的表直接留存,空間占用率不高,存儲與導(dǎo)入速度很快,并且兼容幾乎所有環(huán)境。
但這種數(shù)據(jù)文件常常不包含任何對該數(shù)據(jù)的描述,包括數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類型以及數(shù)據(jù)起始解析地址等,所有信息均需另外告知;或者此類信息與數(shù)據(jù)一同編碼至該文件內(nèi),需要另外告知上述信息在文件中所在的相對地址位以便解析。
序列化緩沖數(shù)據(jù)
前一數(shù)據(jù)文件的序列化緩沖數(shù)據(jù),該數(shù)據(jù)描述信息需額外告知或通過給定文件內(nèi)地址析取。
特定軟件專用文件
工業(yè)領(lǐng)域存在大量專用軟件,這些軟件常常通過自定義數(shù)據(jù)文件格式對其數(shù)據(jù)進行存儲與管理。對這些文件的析取需要使用匹配的專用解析庫文件或支持模塊。
比如MATLAB 的 mat 文件 和 Excel 的 xls/xlsx 文件,以及德維創(chuàng)數(shù)據(jù)采集專用的 d7d/dxd 等,這類數(shù)據(jù)通常解析后可以直接獲取數(shù)據(jù)結(jié)構(gòu)信息,以及數(shù)據(jù)類型信息。難點在于解析器的獲取。其中常見文件類型通常具有公開的第三方解析工具,專用類型則需要軟件方提供相應(yīng)解析支持工具包。
工業(yè)數(shù)據(jù)
前述數(shù)據(jù)以mat格式存儲時被解析的形式,這種形式保持了數(shù)據(jù)的結(jié)構(gòu)與類型信息。
03 工業(yè)數(shù)據(jù)解析
前述內(nèi)容對工業(yè)數(shù)據(jù)的多樣性進行了闡述分析,并站在信息化建設(shè)的立場將工業(yè)實時數(shù)據(jù)的接入、靜態(tài)數(shù)據(jù)文件的讀取分別歸為了三種類型。這其中除兩類簡單的靜態(tài)文件解析不需要考慮數(shù)據(jù)類型問題外,其它接入數(shù)據(jù)還需要處理按照正確的數(shù)據(jù)類型解析數(shù)據(jù)的問題。本節(jié)我們討論相關(guān)問題,同時介紹一個用以測試數(shù)據(jù)解析方案的node-red,該工具同時支持在工作前期快速洞察數(shù)據(jù)。
1. 序列數(shù)據(jù)解析
在許多工業(yè)應(yīng)用場景中數(shù)據(jù)傳輸是基于較底層協(xié)議進行的,意味著獲取的工業(yè)數(shù)據(jù)不會以明確的數(shù)據(jù)類型傳遞,而只是表示為單純的字節(jié)序列。如下圖所示。序列數(shù)據(jù)解析
以字節(jié)串序列傳遞的工業(yè)時序數(shù)據(jù),需要通過指定的數(shù)據(jù)類型對其進行解析。
對這類數(shù)據(jù)序列的解析涉及兩個方面,即數(shù)據(jù)類型與數(shù)據(jù)存儲方式:
數(shù)據(jù)類型
同一個字節(jié)序列在指定不同的數(shù)據(jù)類型時可以被解析為多種數(shù)據(jù)序列,以上述字節(jié)序列為例,在將數(shù)據(jù)指定為int8, int16, int32, float16, float32, float64 等格式可以獲得不同的解析結(jié)果。并且,在實際工作中一個字節(jié)序列中可能包含多種數(shù)據(jù)類型的多個數(shù)據(jù)的組合。因此必須在解析前首先了解待解析數(shù)據(jù)的實際類型。
不同的類型假定會把同一的數(shù)據(jù)序列解析為不同的結(jié)果
△不同的類型假定會把同一的數(shù)據(jù)序列解析為不同的結(jié)果
數(shù)據(jù)存儲方式
數(shù)據(jù)的存儲方式主要指數(shù)據(jù)序列化時的大端和小端選擇。
" 大端模式,是指數(shù)據(jù)的高字節(jié)保存在內(nèi)存的低地址中,而數(shù)據(jù)的低字節(jié)保存在內(nèi)存的高地址中,這樣的存儲模式有點兒類似于把數(shù)據(jù)當(dāng)作字符串順序處理:地址由小向大增加,數(shù)據(jù)從高位往低位放;小端模式,是指數(shù)據(jù)的高字節(jié)保存在內(nèi)存的高地址中,而數(shù)據(jù)的低字節(jié)保存在內(nèi)存的低地址中,這種存儲模式將地址的高低和數(shù)據(jù)位權(quán)有效地結(jié)合起來,高地址部分權(quán)值高,低地址部分權(quán)值低。--- 定義來自百度百科
通常信息化系統(tǒng)中的數(shù)據(jù)都以小端形式存儲,但在很多工業(yè)設(shè)備上數(shù)據(jù)以大端形式存儲。因此在數(shù)據(jù)的解析中還必須注意數(shù)據(jù)的存儲形式。下圖展示了同一種數(shù)據(jù)類型以不同存儲形式假設(shè)進行解析時得到的不同結(jié)果:

不同的存儲方式假設(shè)會得到不同的解析結(jié)果
△不同的存儲方式假設(shè)會得到不同的解析結(jié)果
2. 工業(yè)數(shù)據(jù)解析測試
由于工業(yè)數(shù)據(jù)的獲取與解析存在各種情形,在系統(tǒng)構(gòu)建前期快速測試接入數(shù)據(jù),了解數(shù)據(jù)狀況就顯得十分必要。對數(shù)據(jù)的解析通常需要通過代碼開發(fā)的方法完成,以python為例,可以使用諸如 numpy.frombuffer, pandas.read_csv, scipy.io.loadmat 等方法,結(jié)合正確的參數(shù)實現(xiàn)對數(shù)據(jù)的正確解析。但此類方法并不便利,非開發(fā)人員在進行項目初期調(diào)研時難以直接使用。因此可以使用如 node-red 等軟件進行數(shù)據(jù)解析的測試。
node-red 的安裝:node-red 由IBM公司開發(fā),BS架構(gòu),主要用于IOT環(huán)境中進行低代碼的數(shù)據(jù)接入與解析??梢栽趙indows下用命令:
 npm install -g --unsafe-perm node-red
安裝,安裝要求系統(tǒng)具備 node.js 環(huán)境。建議使用conda虛擬環(huán)境管理器構(gòu)建node.js環(huán)境,在該環(huán)境下安裝node-red。安裝完成后在該虛擬環(huán)境下輸入node-red即可啟動該軟件服務(wù),然后在瀏覽器輸入服務(wù)指定的訪問路徑即可進入node-red。
注意:請勿使用docker部署該軟件,否則本地文件析取測試在windows環(huán)境下難以實現(xiàn)。
node-red 主界面環(huán)境
△node-red 主界面環(huán)境
使用node-red 連接工業(yè)實時數(shù)據(jù)
通過 node-red 可以調(diào)用多種工業(yè)數(shù)據(jù)接口協(xié)議進行數(shù)據(jù)獲取,如通用的 OPCUA,又或?qū)S玫谋陡Mㄐ艆f(xié)議 ADS。
拖曳式使用多種工業(yè)連接協(xié)議(需要程序內(nèi)安裝)并配置連接參數(shù)
△拖曳式使用多種工業(yè)連接協(xié)議(需要程序內(nèi)安裝)并配置連接參數(shù)
使用node-red 解析文件數(shù)據(jù)
支持解析多種靜態(tài)文件。特別的,以序列化緩沖數(shù)據(jù)形式存儲的文件使用文本類軟件解析便利性較差,使用 node-red 可以簡化這一過程。在數(shù)據(jù)解析中可以指定待解析數(shù)據(jù)的起始地址,數(shù)據(jù)類型與數(shù)據(jù)長度等參數(shù)。
使用node-red 解析文件數(shù)據(jù)
△對前述序列化緩沖數(shù)據(jù)文件進行解析
在完成數(shù)據(jù)的連接與解析后,node-red還支持對這些數(shù)據(jù)的部分可視化展現(xiàn),具體請見該軟件文檔dashboard部分。
node-red 雖然提供了便利的工業(yè)數(shù)據(jù)連接與解析的工具,但在解析復(fù)雜的真實現(xiàn)場數(shù)據(jù)需要較多配置工作,并難以適應(yīng)動態(tài)、柔性現(xiàn)場條件,因此在真實系統(tǒng)中仍然需要使用開發(fā)的方式構(gòu)建數(shù)據(jù)獲取與解析能力。該工具適用于對工業(yè)數(shù)據(jù)的快速連接與解析方式的驗證。
為實現(xiàn)動態(tài)、大批量完成的工業(yè)數(shù)據(jù)獲取與解析工作,美林?jǐn)?shù)據(jù)提供設(shè)備采集器模塊產(chǎn)品。設(shè)備采集器是一個可以進行多設(shè)備協(xié)議數(shù)據(jù)采集,并進行數(shù)據(jù)消息報送的采集軟件;可以通過靈活的配置文件進行點位采集業(yè)務(wù)的配置;可對采集點位進行分組,同組點位采用相同的頻率進行采集,并將數(shù)據(jù)按照特定格式組合后發(fā)送同一消息主題。
設(shè)備采集器總體架構(gòu)
△設(shè)備采集器總體架構(gòu)
采集器整體采用Spring Boot進行開發(fā),方便進行其他組件的集成及管理工作。并包括有配置解析模塊,周期調(diào)度模塊,協(xié)議采集模塊,數(shù)據(jù)組裝模塊,數(shù)據(jù)報送模塊等。各模塊內(nèi)配置參數(shù)通過yaml配置文件確定,方便靈活的處理業(yè)務(wù)。此外,調(diào)度任務(wù)支持Cron表達式,原生支持OPCUA協(xié)議,Json格式組裝,Kafka、MQTT報送等功能。是工業(yè)數(shù)據(jù)采集與解析的便利構(gòu)件。

04 總結(jié)
將以上所述過程以流程圖的形式表示如下。其中藍色字體部分是一般工業(yè)軟件系統(tǒng)構(gòu)建時需要動態(tài)配置的部分,需要在開發(fā)過程中予以關(guān)注。
工業(yè)數(shù)據(jù)的獲取與采集過程
△工業(yè)數(shù)據(jù)的獲取與采集過程
本文目的是簡要介紹工業(yè)數(shù)據(jù)獲取與解析的一般性知識,以便數(shù)據(jù)密集型工業(yè)應(yīng)用系統(tǒng)構(gòu)建的相關(guān)人員能夠了解自己面對的業(yè)務(wù)實際,并具備能力洞察實際數(shù)據(jù)形態(tài),從而較準(zhǔn)確地研判實現(xiàn)業(yè)務(wù)目標(biāo)的可行性與時間成本耗費。希望上述介紹可以為您提供相關(guān)幫助。
也可來電與我們深入交流:400-608-2558

服務(wù)熱線
400-608-2558
咨詢熱線
15502965860-
美林?jǐn)?shù)據(jù)
微信掃描二維碼,立即在線咨詢
夜夜爽一区二区三区精品,精品一区二区三区免费毛片爱,日本美女一区二区三区,色窝窝无码一区二区三区色欲

  • <center id="vcica"><optgroup id="vcica"></optgroup></center>
  • 主站蜘蛛池模板: 亚洲啪啪91| 国产精品视频xxxx| 另类春色校园亚洲| 久久亚洲视频| 老司机精品福利视频| 久久久久久久一区二区| 久久亚洲精品视频| 麻豆久久久9性大片| 欧美aⅴ99久久黑人专区| 欧美精品在线一区| 欧美日韩三级电影在线| 亚洲毛片一区二区| 99这里只有精品| 国产三级精品在线不卡| 国产亚洲欧美中文| 伊人激情综合| 亚洲三级电影在线观看| 一本久久a久久免费精品不卡| 亚洲一区二区三区精品在线观看| 亚洲欧美一区二区三区久久 | 狠狠色伊人亚洲综合成人| 在线日本成人| 亚洲精品免费一区二区三区| 中文欧美字幕免费| 欧美一站二站| 老司机精品视频网站| 欧美女主播在线| 国产精品在线看| 在线成人性视频| 夜夜嗨av色综合久久久综合网| 亚洲欧美日本在线| 麻豆成人av| 国产精品电影网站| 国产综合色一区二区三区| 91久久精品一区二区别| 亚洲欧美bt| 美女91精品| 国产精品久久午夜夜伦鲁鲁| 在线观看视频一区二区| 亚洲视频欧美视频| 久久久www成人免费无遮挡大片|