在1997年的可視化IEEE會(huì)議中，術(shù)語"大數(shù)據(jù)"被提出。

當(dāng)時(shí)，計(jì)算機(jī)內(nèi)存以兆字節(jié)為單位，最強(qiáng)大的內(nèi)存為128 MB。由于科學(xué)家之間通過互聯(lián)網(wǎng)共享信息，使得越來越多的數(shù)據(jù)以越來越快的速度涌現(xiàn)，因此開發(fā)處理大數(shù)據(jù)的技術(shù)面臨著如此巨大的壓力也就不足為奇了。

如今，最便宜的智能手機(jī)可在1 GB（1000 MB）的內(nèi)存上運(yùn)行，因此不斷增長(zhǎng)的數(shù)據(jù)量已不再像以前那樣成為問題。用今天的話來說，2013年的全球數(shù)據(jù)量為4.4 ZB（1 ZB = 44萬億GB），到2020年，這一數(shù)據(jù)可能會(huì)增加到44 ZB或更多。但是，先進(jìn)的計(jì)算機(jī)硬件使數(shù)據(jù)收集和存儲(chǔ)相對(duì)便宜又容易。此外， 人工智能（AI）和機(jī)器學(xué)習(xí)（ML）技術(shù)的最新發(fā)展，分析也變得更加易于管理。

但是，在軍隊(duì)中，大數(shù)據(jù)的收集經(jīng)常引起爭(zhēng)議。最近的一個(gè)喧鬧話題涉及使用開源機(jī)器學(xué)習(xí)平臺(tái)收集視覺數(shù)據(jù)。在這種情況下，無人機(jī)是用于數(shù)據(jù)收集或軍事術(shù)語，情報(bào)收集的方法?？棺h本身并不是關(guān)于數(shù)據(jù)，而是針對(duì)ML進(jìn)行攻擊的潛在用途。

這種對(duì)軍事技術(shù)的突然使用是一種奇怪的事情，因?yàn)閷⑵溆糜谇閳?bào)收集并不是什么新鮮事。當(dāng)然，今天使用的方法是不同的，但是數(shù)據(jù)本身的性質(zhì)和重要性卻沒有。

軍方繼續(xù)與 情報(bào)界一起收集各種學(xué)科的情報(bào)，這些學(xué)科可能被有趣地稱為" INTS"。IC下有17個(gè)組織，但它們?cè)谲娛骂I(lǐng)域的道路在以下學(xué)科中相交：

· HUMINT（人類情報(bào)）

· GEOINT（地理空間情報(bào)）

· SIGINT（信號(hào)智能）

· OSINT（開源情報(bào)）

HUMINT：人類情報(bào)

人類情報(bào)收集（HUMINT）通過與人的私人接觸來收集信息。信息采取文件，照片，數(shù)字文件和其他材料的形式，這些信息是通過非官方渠道秘密獲得的，或者是通過外交或領(lǐng)事人員公開獲得的，以及與外國官員的授權(quán)通信。軍隊(duì)還可能通過對(duì)敵人的訊問或旅行者的匯報(bào)來獲取情報(bào)。

大多數(shù)人將HUMINT與間諜活動(dòng)聯(lián)系起來，有時(shí)被戲稱為世界第二古老的職業(yè)，他們大多是正確的。間諜在該學(xué)科的情報(bào)收集中仍繼續(xù)發(fā)揮重要作用，盡管它與其他廉政局相比更為互補(bǔ)。例如，人員可以提供使SIGINT操作員遠(yuǎn)程訪問系統(tǒng)的代碼。

HUMINT在技術(shù)進(jìn)步這一天的重要性也與環(huán)境相關(guān)，這是基于AI的監(jiān)視可能會(huì)錯(cuò)過的。在地面上有人可以在評(píng)估軍事目標(biāo)的有效性和觀察其發(fā)展過程中提供有價(jià)值的（人類）見識(shí)。

通過HUMINT收集的數(shù)據(jù)通常采用不同的格式，包括模擬和數(shù)字格式。它可能是音頻，視頻，文本或圖像，必須經(jīng)過分析才能將其與通過其他學(xué)科收集的數(shù)據(jù)集成在一起。基于AI的軟件可以標(biāo)記，組織和分析HUMINT數(shù)據(jù)，目前軍方正在評(píng)估的此類軟件之一是雷神公司的FoxTen。

但是，AI可能很快會(huì)在對(duì)抗跟蹤技術(shù)方面發(fā)揮更積極的作用，其中一些技術(shù)是專門為間諜設(shè)計(jì)的，而另一些則是不為人知的工具。 中央情報(bào)局（Central Intelligence Agency）正在進(jìn)行多個(gè)AI項(xiàng)目，包括想出一些方法來欺騙跟蹤設(shè)備或繪制敵對(duì)或未知地區(qū)監(jiān)視攝像機(jī)的位置。

GEOINT：地理空間情報(bào)

根據(jù)美國法典， 地理空間情報(bào)是指使用和研究圖像和地理空間數(shù)據(jù)來解釋，審查和以視覺方式表示地面特征和活動(dòng)。簡(jiǎn)而言之，GEOINT包括從空中，地面或水下拍攝的圖像，視頻和其他視覺表示中收集的所有情報(bào)。

從軍事意義上來說，GEOINT的價(jià)值在于提供物體活動(dòng)的精確位置，解釋其含義，并為其提供有助于做出軍事決定的框架。視覺數(shù)據(jù)通常來自衛(wèi)星，無人機(jī)（UAV），自主水下航行器（AUV）和其他測(cè)量技術(shù)。

在大多數(shù)情況下，GEOINT數(shù)據(jù)是來自不同來源的地理空間數(shù)據(jù)的集成，以創(chuàng)建情況的三維表示。進(jìn)而將其集成到multi-INT數(shù)據(jù)中。

本節(jié)中特別提到的是無人機(jī)的使用，這種無人機(jī)通常被稱為無人機(jī)。軍方一直在使用無人機(jī)搜集情報(bào)，以支持軍事人員和運(yùn)營(yíng)多年。

但是，通信速度，存儲(chǔ)容量和機(jī)器視覺軟件自主操作無人機(jī)的能力提高，導(dǎo)致數(shù)據(jù)過載。

軍方庫存中有8,000多架無人機(jī)，并且使用效果良好。員工每天必須經(jīng)歷大約1600個(gè)小時(shí)的錄像，這還不包括圖像。數(shù)據(jù)對(duì)地面的士兵和總部的指揮官來說是無價(jià)的，但前提是分析是準(zhǔn)確和及時(shí)的。

AI和ML算法可以比人類操作員更快，更徹底地分析視頻并檢測(cè)威脅。這是Project Maven的基礎(chǔ)，Project Maven當(dāng)前使用基于TensorFlow的平臺(tái)進(jìn)行無人機(jī)鏡頭的預(yù)測(cè)分析。在Google決定不續(xù)簽AI開發(fā)項(xiàng)目之后，五角大樓求助于初創(chuàng)公司Anduril Industries，以開發(fā)用于軍事無人機(jī)的傳感器融合平臺(tái)。

根據(jù)該公司的網(wǎng)站，使用萊迪思AI平臺(tái)，"只有最終信息才傳回給用戶。這使功能強(qiáng)大的計(jì)算機(jī)的大規(guī)?？蓴U(kuò)展網(wǎng)狀網(wǎng)絡(luò)可以進(jìn)行數(shù)字處理，而無需部署服務(wù)器場(chǎng)或命令中心。"

SIGINT：信號(hào)情報(bào)

信號(hào)情報(bào)是有關(guān)通過攔截信號(hào)和傳輸獲得的外來目標(biāo)的動(dòng)作，目標(biāo)和能力的信息。根據(jù)傳輸類型，存在SIGINT的三個(gè)子集。COMINT來自通信系統(tǒng)，雷達(dá)和武器系統(tǒng)來自ELINT（電子情報(bào)），以及正在開發(fā)或測(cè)試中的武器系統(tǒng)來自FISINT（外國儀器信號(hào)情報(bào)）。

國家安全局（NSA）通常使用各種方法來搜集有關(guān)恐怖分子，組織以及具有國際或外國協(xié)會(huì)的人的SIGINT，但往往 比其他任何方式都使用無人機(jī)。只有 在美國政府正式要求時(shí)才這樣做。NSA會(huì)將原始數(shù)據(jù)轉(zhuǎn)換，解碼和分析為非NSA分析人員（例如CIA和IC中的分析人員）可用的形式。這些機(jī)構(gòu)將NSA資料與其他廉政局的數(shù)據(jù)相結(jié)合，以描繪出完整的圖景。

SIGINT一直有足夠多的數(shù)據(jù)，用以工作，因?yàn)樗哂羞@樣的來源廣泛的陣列。電話對(duì)話，電子郵件，無線電波，衛(wèi)星傳輸，無線連接甚至鍵盤振動(dòng)一直在持續(xù)進(jìn)行，為NSA提供了大量信息。

面臨的挑戰(zhàn)是從大量的隨機(jī)信號(hào)中挖掘出有價(jià)值的信息內(nèi)核。所述收集過程包括首先從對(duì)話的潺潺提取某些類型的信號(hào)從信號(hào)或談話層。提取后，SIGINT分析人員將篩選候選項(xiàng)目，以根據(jù)一組參數(shù)選擇要保留的項(xiàng)目。然后，國家安全局存儲(chǔ)這些選定的項(xiàng)目，并將其發(fā)送給請(qǐng)求機(jī)構(gòu)以進(jìn)行進(jìn)一步分析。

這個(gè)過程是艱苦的，并不總是盡其所能。IC不可避免地會(huì)尋求先進(jìn)的AI和ML技術(shù)來使此過程變得更快更好。SIGINT的主要目的是防御。知道敵人的位置，意圖和能力可以大大防止對(duì)士兵和平民的傷害。

但是，研究人員越來越希望SIGINT做其他事情。一種是提供見解，以幫助他們從收集到的數(shù)據(jù)中準(zhǔn)確預(yù)測(cè)未來事件。

IC研究部門"情報(bào)高級(jí)研究計(jì)劃活動(dòng)"（IARPA）與學(xué)術(shù)和商業(yè)領(lǐng)域的數(shù)據(jù)科學(xué)家和ML工程師聯(lián)系，以開發(fā)連續(xù)的，自動(dòng)化的SIGINT分析技術(shù)。 該獎(jiǎng)項(xiàng)被稱為" 水星挑戰(zhàn)"，將用于有效地"預(yù)測(cè)涉及軍事行動(dòng)，內(nèi)亂或傳染病的事件，特別是在中東和北非講阿拉伯語的國家發(fā)生的事件"的算法。

此外，先進(jìn)的迅速崛起 的網(wǎng)絡(luò)和電磁活動(dòng)（CEMA）和電子戰(zhàn)從對(duì)手迫使陸軍 收斂的信號(hào)情報(bào)，網(wǎng)絡(luò)和電磁系統(tǒng)整合到一個(gè)平臺(tái)： 地面層的智能系統(tǒng)。陸軍正在積極尋求加速集成的建議，包括開發(fā)機(jī)器學(xué)習(xí)軟件以減少工作量。

SIGINT技術(shù)的另一個(gè)潛在用途是擔(dān)當(dāng)更積極的防御角色。檢測(cè)，識(shí)別和評(píng)估信號(hào)威脅級(jí)別（例如地對(duì)空導(dǎo)彈雷達(dá)）的能力可以拼寫出任務(wù)成功與失敗之間的區(qū)別。

該波音EA-18G咆哮者保持士兵干擾敵方雷達(dá)信號(hào)的安全。有計(jì)劃通過集成可以更快地檢測(cè)信號(hào)并更準(zhǔn)確地分辨出友好和敵對(duì)信號(hào)之間的區(qū)別的AI軟件，使Growler在防御方面更加有效。

SIGINT收集和分析的世界不再是關(guān)于攔截消息和破解代碼以供他人采取行動(dòng)。在完善的數(shù)據(jù)和機(jī)器學(xué)習(xí)的幫助下，SIGINT迎接了迅速發(fā)展的電子戰(zhàn)的挑戰(zhàn)。

OSINT：開源情報(bào)

正如該術(shù)語所暗示的那樣，開源情報(bào)是從公開或可公開獲得的來源收集數(shù)據(jù)以用于特定目的的開發(fā)。這是OSINT的非常寬泛的定義，而在存在OSINT的50年中，很難找到更詳細(xì)的定義。據(jù) RAND Corporation說，原因是公開可用的數(shù)據(jù)源一直在變化。自從Internet使用變得普遍并且社交網(wǎng)絡(luò)使用發(fā)生爆炸以來，這一點(diǎn)變得更加明顯。

多年來，OSINT的來源不斷發(fā)展。在第一次迭代中，最多產(chǎn)的OSINT來源是電視，廣播和印刷媒體。過去，人工操作人員會(huì)手動(dòng)瀏覽這些數(shù)據(jù)源。后來，情報(bào)機(jī)構(gòu)使用了商用的現(xiàn)成（COT）軟件來收集，清理和分析OSINT數(shù)據(jù)。

傳統(tǒng)媒體仍然是OSINT的來源，但是數(shù)據(jù)收集的真正動(dòng)力是互聯(lián)網(wǎng)。即時(shí)訪問隨時(shí)可用并不斷更新的數(shù)據(jù)有利于情報(bào)收集操作。這些內(nèi)容包括博客，在線報(bào)紙，社交網(wǎng)絡(luò)，視頻流服務(wù)，論壇和其他用戶提供的內(nèi)容，以及網(wǎng)站后端的隱藏寶石。

問題在于可用數(shù)據(jù)的絕對(duì)數(shù)量和復(fù)雜性。來自Internet的數(shù)據(jù)流具有細(xì)微的層次，分析人員必須執(zhí)行所有操作，從事實(shí)檢查到情感分析，并始終牢記數(shù)據(jù)的上下文。

要 為這項(xiàng)工作的艱巨性增加視角，請(qǐng)考慮社交媒體。Twitter用戶平均每天上傳6.56億條推文，F(xiàn)acebook用戶每天發(fā)布43億條消息。這只是來自兩個(gè)社交網(wǎng)絡(luò)的數(shù)據(jù)。再加上每天Google的搜索量（52億），觀看的YouTube視頻（每分鐘400萬），發(fā)布的博客文章，這為軍隊(duì)提供了大量的數(shù)據(jù)。

在軍事領(lǐng)域，分析人員必須能夠過濾這些數(shù)據(jù)流，以識(shí)別和分類對(duì)軍事戰(zhàn)略和行動(dòng)有任何用途或影響的所有事物。這可能與某些國家，特定個(gè)人，高風(fēng)險(xiǎn)人群，武器等有關(guān)。他們必須在人類行為的背景下并實(shí)時(shí)地徹底做到這一點(diǎn)。

沒有人工協(xié)助，對(duì)于操作人員來說，這顯然是不可能完成的任務(wù)，IC也知道。為了滿足這一需求，中央情報(bào)局目前正在研究 使用AI進(jìn)行OSINT的幾個(gè)項(xiàng)目，而不僅僅是進(jìn)行分析。它計(jì)劃使用AI軟件和自然語言處理算法來系統(tǒng)地瀏覽社交網(wǎng)絡(luò)和其他OSINT來源的數(shù)據(jù)流。該軟件將僅選擇相關(guān)項(xiàng)目，從理論上講將OSINT收集器的工作量減少75％。

這個(gè)想法是在5年的時(shí)間里與私人公司合作進(jìn)行OSINT實(shí)驗(yàn)以及使用機(jī)器學(xué)習(xí)進(jìn)行大數(shù)據(jù)收集和分析。中央情報(bào)局于2018年5月宣布了梅薩佛得角項(xiàng)目，但該提案目前尚無更新。

然而，商業(yè)部門并未如此謹(jǐn)慎。像Google這樣的公司已經(jīng)擁有專門設(shè)計(jì)用于處理大數(shù)據(jù)的工具和API。

軍事中的大數(shù)據(jù)來自許多來源，信息過載是一個(gè)非常現(xiàn)實(shí)的問題。人工智能和機(jī)器學(xué)習(xí)可能是一種有效的解決方案，但是要比重新發(fā)明輪子更了解力量。尋求商業(yè)和學(xué)術(shù)機(jī)構(gòu)處理大數(shù)據(jù)是軍隊(duì)采取的合乎邏輯且最具戰(zhàn)略意義的舉措。
來源：CDA數(shù)據(jù)分析師    如有侵權(quán)請(qǐng)聯(lián)系我們刪除。