成果信息
由此提出海量高頻數據存儲管理技術,采用了多并發(fā)、多緩沖的數據入庫機制和大數據集分區(qū)的數據查詢手段,設計了體系化的數據存儲管理方案,突破了傳統(tǒng)數據存儲管理系統(tǒng)的技術瓶頸,完成了主控站管控系統(tǒng)數據存儲軟件的實現,解決了上述難題,取得了良好的應用效果。由于結構化數據類型非常多(500~1000類),數據字段更多,考慮到數據包結構異常復雜,嵌套層級較多,設計了數據實體的冗余結構,在保證存儲效率同時兼顧使用效率。針對各類數據應用服務需求,提供了快速訪問能力和多種訪問手段,包括服務、API(C++、Java)、Web Service、Web查詢界面、數據提取界面,為滿足各種需求提供最大的靈活度。)
背景介紹
與一般海量數據管理系統(tǒng)不同的是,大多數海量數據都是非結構化的文件類數據,如測繪圖像、視頻資料、文檔資料等,而對本系統(tǒng),所有的數據均為結構化數據,并且所有數據均為二進制編碼打包,經由UDP協議傳輸到主控站存儲軟件形成高頻海量數據流,除了要實時收取這些高頻數據流,還需及時對他們進行解碼處理,形成結構化數據進行入庫保存,并提供快速檢索、全文檢索、數據服務、數據轉儲、數據輸出、長期歸檔備份等能力。)
應用前景
待添加)