美國中央情報局迎接大數據分析技術挑戰(zhàn)

　　與IT相似，情報機關也在努力通過創(chuàng)新獲得快速分析大量來自不同源頭的數據能力。

　　雖然最近一段時間以來，美國國家安全局及其它情報機關大規(guī)模收集個人數據的做法引發(fā)了廣泛爭議;但從技術角度來看，通過分析將數據轉化為可操作信息仍然是一項巨大挑戰(zhàn)，即使是最具權勢的機構在面對此類難題時也感到有些無可奈何。

　　在剛剛于紐約召開的安全創(chuàng)新網絡峰會上，中央情報局科學與技術部門副主任Dawn Meyerriecks致辭稱，處理所有業(yè)務相關數據對于任何機構而言都仍是一項重大挑戰(zhàn)。甚至在成功收集之后，機構成員以實時形式對數據進行分析都無法做到。

　　“要查看一遍下一分鐘在互聯網上傳輸的所有視頻，我們要花上整整五年時間，”Meyerriecks解釋道?！耙虼宋覀兏静痪邆涮幚砣楷F有數據的能力?！?/P>

　　因此，美國中央情報局正在集中資金投向分析應用程序及系統的研發(fā)領域，旨在幫助自身更便捷地對來自不同來源的數據加以分析——這是為了避免將浩如煙海的數據保存在有限的內部存儲體系當中，Meyerriecks告訴我們。

　　大多數研究與開發(fā)活動都通過in-Q-tel(一家由中央情報局創(chuàng)立的風險投資公司)以及情報高級研究項目活動機構(簡稱IARPA，由高級研究項目署建立)共同負責管理。

　　根據Meyerriecks的說明，以IARPA的“集團性偶然事件評估(簡稱ACE)”為例，該項目希望通過對先進分析技術的研究簡化數據分析流程。而IARPA的“知識發(fā)現與傳播”計劃則意在從適配器及語義技術角度出發(fā)讓數據發(fā)現及實施變得更加簡單，最終從中獲取更具價值的背景信息。

　　雖然中情局的運營規(guī)模明顯超過一般性企業(yè)，但德雷斯納咨詢服務公司首席研究官Howard Dresner表示自身所在機構的IT部門在深入探索大數據的過程中，同樣面臨諸多來自高級分析技術的挑戰(zhàn)。即使是將Hadoop作為數據存儲框架，來自數據收集與大規(guī)模數據關聯的成本仍然相當昂貴。

　　為了降低這部分成本，技術人員想出了各種辦法。如果分析能夠針對來自多種來源的大量數據，那么處理費用將大大減少?！皼]人能有短期之內從根本上解決成本問題，”Dresner指出?！拔覀兡茏龅闹皇鞘紫韧ㄟ^標準化方式對數據進行索引?！?/P>

　　當然，系統集成商普遍將大數據看作一次重大的發(fā)展機遇。舉例來說，CSCS剛剛收購了數據分析即服務廠商Infochimps公司，從而通過Hadoop與NoSQL數據庫的結合實現數據整理。

　　根據CSC公司數據服務主管Travis Koberg的說法，系統集成商希望大數據分析領域能夠實現跨應用程序起效并進一步作用于內部及云計算平臺?！拔覀冋榇髷祿蛟煲惶坠I(yè)強度級別的平臺，”Koberg指出?！暗覀內匀粓孕糯蟛糠謶贸绦蚨寄艹晒崿F聯合?！?/P>

　　最終形勢將發(fā)展到何種程度目前還不清楚。就現在來看，命運的指針正朝著云聚集數據緩緩移動。然而將全部數據加以聚合的成本將繼續(xù)增加，IT行業(yè)與情報機構已經清醒地意識到，只有技術突破才能幫助自己在無關數據保存位置的前提下實現大數據分析目標。