《云計算技術(shù)與技術(shù)選型分析》由會員分享，可在線閱讀，更多相關(guān)《云計算技術(shù)與技術(shù)選型分析（14頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、云計算技術(shù)與技術(shù)選型分析 云計算技術(shù)與技術(shù)選型分析 本文關(guān)鍵詞：技術(shù)，選型，計算，分析 云計算技術(shù)與技術(shù)選型分析 本文簡介：一、前言目前公安工作在視頻應(yīng)用方面，仍普遍采用人工視頻處理、人工視頻檢索、人工視頻識別分析的傳統(tǒng)模式，面對爆炸性增長的視頻監(jiān)控資源，查找難、采集難、傳輸慢、解碼難、分析難等瓶頸問題愈發(fā)明顯，人海戰(zhàn)術(shù)已經(jīng)無法處理、應(yīng)用海量監(jiān)控視頻資源。為此，采用“云計算”等先進技術(shù)，開展應(yīng)對大范圍、高容量視頻監(jiān)控圖像 云計算技術(shù)與技術(shù)選型分析 本文內(nèi)容： 一、前言 目前公安工作在視頻應(yīng)用方面，仍普遍采用人工視頻處理、人工視頻檢索、人工視頻識別分析的傳統(tǒng)模式，面

2、對爆炸性增長的視頻監(jiān)控資源，查找難、采集難、傳輸慢、解碼難、分析難等瓶頸問題愈發(fā)明顯，人海戰(zhàn)術(shù)已經(jīng)無法處理、應(yīng)用海量監(jiān)控視頻資源。為此，采用“云計算”等先進技術(shù)，開展應(yīng)對大范圍、高容量視頻監(jiān)控圖像綜合的應(yīng)用和管理，進行視頻處理、管理、應(yīng)用的綜合服務(wù)平臺技術(shù)研究，對海量視頻資源進行自動化、智能化分析處理，為警務(wù)實戰(zhàn)工作提供針對性、高附加值視頻圖像綜合應(yīng)用服務(wù)，提高視頻處理能力和效率已經(jīng)勢在必行。 二、視頻圖像應(yīng)用中所面臨的問題 視頻圖像應(yīng)用中面臨的突出矛盾和難點主要有以下幾個方面： （一）快速增加的視頻監(jiān)控圖像與效率低下的人工檢索應(yīng)用方式之間的矛盾 隨著視頻監(jiān)控探頭數(shù)量的

3、增加、密度的提高和種類的豐富，視頻監(jiān)控“天網(wǎng)”逐漸覆蓋了幾乎所有重點區(qū)域和公共場所，利用視頻監(jiān)控拼接串聯(lián)，還原犯罪嫌疑人整個行為軌跡鏈條，已成為目前案件偵辦過程中的重要技術(shù)手段和可信的原始證據(jù)。但是，監(jiān)控探頭的增加也導致一起案件所涉及到的視頻資源總量呈爆炸性增加，目前主要依靠人工檢索、分析的應(yīng)用模式導致視頻分析、應(yīng)用能力的提高遠遠落后于監(jiān)控探頭的建設(shè)速度，“視頻在，找不到”、“找得到，找太久”、“服務(wù)在，成本大”、“看不清，用不上”等問題非常突出，嚴重影響了監(jiān)控圖像資源在實戰(zhàn)中的應(yīng)用效果。 （二）監(jiān)控視頻價值密度低、應(yīng)用單一 由于視頻分析主要依靠人力，目前監(jiān)控視頻應(yīng)用比較單一，主要

4、服務(wù)于案件倒查挖掘線索和重大活動現(xiàn)場應(yīng)急指揮等，對治安管理、巡邏防控、基礎(chǔ)工作等其他公安業(yè)務(wù)工作，尤其在大區(qū)域范圍內(nèi)的視頻管理與應(yīng)用中，缺乏視頻資源提取、組織、管理的有效工具和手段，“視頻多、挖掘淺、難應(yīng)用”現(xiàn)象突出，大量的有價值視頻資源逐漸沉淀、覆蓋。 （三）管理成本居高不下 傳統(tǒng)的視頻資源分級分散存儲模式，缺乏海量視頻資源組織管理與集中的應(yīng)用平臺，資源分散、尋找相應(yīng)視頻資源困難，視頻標準不統(tǒng)一導致跨區(qū)域分析、處理難度高、資源消耗巨大，給海量視頻資源的快速識別、處理和大規(guī)模并發(fā)應(yīng)用造成了極大的阻礙，推高了整體視頻資源應(yīng)用的成本，擴展難、維護貴、安全保障難等問題越來越突出。

5、三、架構(gòu)設(shè)計 （一）技術(shù)目標 本文提出的基于分布式云計算技術(shù)的視頻圖像綜合應(yīng)用技術(shù)，主要針對日常治安巡控、重特大案件聯(lián)合偵辦以及視頻特征線索自動識別、采集等警務(wù)工作需求，利用公安主導建設(shè)的聯(lián)網(wǎng)資源以及.單位和個體自建的視頻資源，通過對視頻進行結(jié)構(gòu)化描述，對視頻圖像進行智能化分析處理，為各業(yè)務(wù)警種提供視頻調(diào)閱、分析、處理與應(yīng)用服務(wù)，提高視頻監(jiān)控圖像的應(yīng)用效率、為全警開展視頻圖像應(yīng)用提供技術(shù)支持。 系統(tǒng)采取SOA架構(gòu)和“平臺插件”模式，實現(xiàn)對視頻資源的整合和對各類視頻處理模塊兼容，通過靈活配置的視頻處理工具，滿足日常視頻巡邏防控、大要案偵辦和培訓教學等各類復雜應(yīng)用場景；系統(tǒng)采用“

6、云計算”技術(shù)的分布式并行數(shù)據(jù)庫、分布式文件存儲技術(shù)、全文標簽索引和全文檢索技術(shù)實現(xiàn)視頻應(yīng)用系統(tǒng)業(yè)務(wù)事物處理、海量視頻文件存儲、視頻自動化分析的結(jié)構(gòu)化標注智和智能檢索；通過云計算技術(shù)的引入滿足系統(tǒng)各層次的線性擴展需求，降低管理成本、保障信息安全。 （二）工作流分析 視頻綜合服務(wù)平臺的工作流程分為實時在線分析模式和事后離線分析模式。其中，實時分析模式輸入實時視頻流進行智能分析、視頻布防、視頻布控、視頻追逃分析，返回報警信息給各業(yè)務(wù)警種，主要用于具備視頻偵控預案的日常治安防控應(yīng)用；事后離線分析模式輸入視頻錄像或圖片，進行視頻轉(zhuǎn)碼、濃縮、分析、檢索以及處理等視頻偵查服務(wù)，可用于各類視頻線索

7、的深度分析、串并、關(guān)聯(lián)。 （三）整體結(jié)構(gòu)設(shè)計 根據(jù)功能需求，平臺可以分成基礎(chǔ)視頻庫、視頻資源庫、應(yīng)用平臺三個部分。原始視頻資源通過視頻監(jiān)控平臺和離線采集等方式進入基礎(chǔ)視頻庫，作為原始視頻素材，通過平臺集成的各類視頻處理第三方工具對視頻進行實時處理后存入視頻資源庫，對視頻資源進行特征采集、結(jié)構(gòu)化、標簽化。各類視頻處理工具經(jīng)過評估測試后掛接在應(yīng)用平臺中，對終端用戶、外部系統(tǒng)提供應(yīng)用服務(wù)和接口服務(wù)。 一個典型的視頻監(jiān)控圖像綜合應(yīng)用服務(wù)平臺硬件、網(wǎng)絡(luò)拓撲結(jié)構(gòu)可以通過圖2表示。系統(tǒng)采用異構(gòu)融合的體系結(jié)構(gòu)，充分利用高性能CPU與GPU處理能力，面向高性能計算與事務(wù)處理的多路結(jié)點相融合；通

8、過操作系統(tǒng)的異構(gòu)協(xié)同功能、交叉編譯環(huán)境和資源管理系統(tǒng)的異構(gòu)資源協(xié)同管理、全系統(tǒng)異構(gòu)體系結(jié)構(gòu)運行支持等，實現(xiàn)異構(gòu)融合的高效能體系結(jié)構(gòu)設(shè)計，適應(yīng)不同規(guī)模的并行應(yīng)用模式，高效支持視頻分析及視頻識別計算與信息服務(wù)。一個典型計算處理系統(tǒng)可由20個異構(gòu)結(jié)點組成，通過高速互連網(wǎng)絡(luò)進行結(jié)點間的通信連接，提供超高計算能力和通信能力，并通過高速網(wǎng)絡(luò)連接大規(guī)模存儲系統(tǒng)，提供與計算和通信能力相匹配的高速并發(fā)I/O訪問能力。通過合理搭配不同視頻處理工具運算量的消耗和普遍的使用頻率，單個處理工具可動態(tài)調(diào)整負載并可具備64線程以上的視頻處理能力。 （四）海量視頻調(diào)度實現(xiàn) 從警務(wù)工作實踐經(jīng)驗來看，視頻應(yīng)用對支撐平

9、臺的數(shù)據(jù)庫的存儲系統(tǒng)要求較高，多用戶并發(fā)條件下，平臺數(shù)據(jù)庫需要具備較高的持續(xù)I/O吞吐率、數(shù)據(jù)安全性和可擴展性。在省或市級平臺應(yīng)用中，由于視頻監(jiān)控節(jié)點多，清晰度高，視頻流處理壓力大，傳統(tǒng)的IP-SAN集中存儲模式不論是網(wǎng)絡(luò)帶寬、磁盤IO還是擴展性和穩(wěn)定性，都難以負荷大并發(fā)條件多源視頻流存儲和處理所產(chǎn)生的巨大壓力，需要引入新技術(shù)對原有體系進行改造或替換。從目前互聯(lián)網(wǎng)技術(shù)發(fā)展潮流趨勢看，基于開源Hadoop架構(gòu)的分布式文件存儲技術(shù)和MPP并行計算技術(shù)是較為理想的技術(shù)路線。 為實現(xiàn)高并發(fā)，高可靠的視頻資源存儲需求，視頻監(jiān)控圖像綜合服務(wù)平臺的視頻存儲部分可以采用分布式文件存儲解決方案。在實際操作

10、中，市級或省級可由多個分局通過HttpFS做代理，組成一個大的集群，主要好處是從應(yīng)用程序角度來看，多個分布的HDFS集群成為了一個統(tǒng)一的分布式文件系統(tǒng)，提供了統(tǒng)一的訪問界面，對外可以提供HTTP/REST訪問方式或者NFS訪問方式。市級或省級平臺建設(shè)部分節(jié)點作為本地視頻處理的緩沖池和重要視頻資源的存儲池。同時，在視頻處理環(huán)節(jié)，也可以通過搭建分布式集群環(huán)境實現(xiàn)可伸縮、動態(tài)配置資源的計算資源池。在視頻綜合服務(wù)平臺中，計算集群由一組計算服務(wù)和一個作業(yè)調(diào)度服務(wù)組成，用于并行處理視頻資源加工任務(wù)，例如視頻結(jié)構(gòu)化、視頻轉(zhuǎn)碼、圖片檢索等。計算集群處理任務(wù)可根據(jù)處理視頻資源內(nèi)容和任務(wù)要求應(yīng)用不同的任務(wù)處理分配

11、模板，動態(tài)調(diào)整計算資源的分配，視頻資源動態(tài)分時加載處理，在閑時運行重載模塊，對視頻資源進行深度采樣分析和信息挖掘，在忙時進行簡單標記和快速處理，通過削峰填谷，提高硬件資源的利用效率，節(jié)約硬件和網(wǎng)絡(luò)成本。比如在重大案件研判、區(qū)域封控、視頻特征提取和重大活動安保等情況下，可以通過快速添加服務(wù)器、動態(tài)減少非重點區(qū)域、非重點模塊的運算量，優(yōu)先滿足重點工作任務(wù)，提高平臺效率。 （五）面向應(yīng)用的模塊建設(shè) 系統(tǒng)通過提供統(tǒng)一的用戶管理、授權(quán)管理和資源服務(wù)總線、各類服務(wù)接口、接口構(gòu)建工具和運行監(jiān)控系統(tǒng)滿足對各類應(yīng)用模塊的管理、集成和調(diào)度。 常見的視頻應(yīng)用模塊包括但不限于： （1）視頻布控

12、。對重點部位、重點目標進行事前布控，通過模式識別分析差異化和特殊情況，尋找蛛絲馬跡，及時制止犯罪行為，降低暴恐事件的.危害性和破壞性。主要用于視頻監(jiān)控對事件的事前預防。 （2）快速聯(lián)動?；赑GIS警用地理信息平臺和視頻資源位置信息動態(tài)快速串聯(lián)視頻資源，對特定目標進行識別和多視頻源過濾、篩選、拼接，形成基于位置的完整視頻鏈。 （3）視頻巡邏。智能分析視頻中的可疑行為和物品，如異常人員聚集、打架斗毆、游行、事故等。 （4）特征分析。智能獲取圖像中的關(guān)鍵信息，并進行結(jié)構(gòu)化標簽標注。如人員正面照片提取、車輛特征提取、人流統(tǒng)計、車流統(tǒng)計等。 （5）視頻自動增強。對過曝、模糊、失

13、真等圖像進行重點部位智能增強或去卷積、銳化、通道過濾、再次白平衡等操作，提高圖像質(zhì)量，減少人工操作。 （六）Docker模式插件容器 對一些第三方插件可以采用Docker虛擬化容器和遠程服務(wù)的方式，在最小限度修改插件的情況下兼容不同供應(yīng)方的模塊，插件統(tǒng)一采用文件對象的方式對視頻進行處理，通過分配文件Docker存儲空間存儲分析處理結(jié)構(gòu)，并利用定期計劃處理分析結(jié)果，完成標簽標注和檢索。由平臺統(tǒng)一配置相關(guān)插件處理的視頻種類、處理時間、授權(quán)范圍。這種方式可以實現(xiàn)動態(tài)的插件管理和應(yīng)用，可以根據(jù)當前任務(wù)需要靈活配置視頻處理的流程，避免了傳統(tǒng)插件模式應(yīng)用在部署、維護和管理上的消耗。 四、

14、技術(shù)選型 視頻監(jiān)控圖像綜合服務(wù)平臺應(yīng)用的新技術(shù)主要有hadoop分布式架構(gòu)文件系統(tǒng)、分布式平臺管理、MPP并行數(shù)據(jù)庫架構(gòu)和分布式并行運算等。 （一）分布式文件系統(tǒng) 視頻云存儲系統(tǒng)采用開源hadoop基礎(chǔ)架構(gòu)，由視頻云存儲管理服務(wù)器和存儲設(shè)備組成。視頻云存儲管理服務(wù)器負責系統(tǒng)內(nèi)資源管理、存儲節(jié)點管理、集群管理、策略調(diào)度、運維監(jiān)控等工作，是整個系統(tǒng)的控制指揮核心；視頻云存儲存儲設(shè)備是前端數(shù)據(jù)取流、存儲業(yè)務(wù)執(zhí)行的基礎(chǔ)設(shè)備。通過管理信息與存儲數(shù)據(jù)分離的多平面設(shè)計，可以保證前端的數(shù)據(jù)流直接寫入存儲設(shè)備，以節(jié)省用戶的流媒體服務(wù)器數(shù)量，同時優(yōu)化存儲結(jié)構(gòu)、減少存儲故障瓶頸。為滿足對穩(wěn)定性、安

15、全性的要求，系統(tǒng)對調(diào)度節(jié)點、網(wǎng)絡(luò)設(shè)施等關(guān)鍵環(huán)節(jié)采取了冗余設(shè)計。分布式視頻云存儲部分的原理描述如圖5所示。 （二）分布式平臺管理 集群化管理：視頻錄像索引采用集群方式進行一級索引管理，無單點故障，保證索引數(shù)據(jù)的安全性，并能根據(jù)用戶的各種查詢條件進行快速定位。 負載均衡管理：集群前端采用虛擬IP技術(shù)，對外提供統(tǒng)一的入口IP形式。在集群中根據(jù)各種算法，系統(tǒng)將集群訪問進行分攤，降低單個節(jié)點的訪問壓力；當單臺壓力過大時，系統(tǒng)將業(yè)務(wù)平滑遷移至其他存儲節(jié)點，達到整個集群間負載均衡目的。 虛擬化管理：將整個存儲設(shè)備統(tǒng)一管理，虛擬化為存儲資源池，且將虛擬資源劃分為塊進行管理；對用戶重要數(shù)

16、據(jù)，通過虛擬塊之間的相互復制技術(shù)，達到多份備份目的。 離散存儲管理：將前端數(shù)據(jù)通過特定算法平滑分散至各存儲設(shè)備上，從而降低大量回放對單臺存儲節(jié)點的壓力。 （三）MPP并行數(shù)據(jù)技術(shù) 視頻分析同樣會產(chǎn)生大量的結(jié)構(gòu)化信息，例如車牌號、人上半身顏色、時間等。存儲此類信息可以采用兩種方式：文件系統(tǒng)和關(guān)系數(shù)據(jù)庫。將結(jié)構(gòu)化信息存儲在文件系統(tǒng)中對于信息檢索會非常麻煩，效率極低，但存儲量巨大；采用關(guān)系數(shù)據(jù)庫對于檢索會非常方便，效率也非常高，但是當記錄數(shù)量超過千萬時，效率會下降的非常明顯，甚至無法應(yīng)用。為了解決上述矛盾，云架構(gòu)中采用分布式數(shù)據(jù)庫。 五、功能、性能分析 （1）分布式、異

17、構(gòu)、并行、開放的計算平臺，能夠兼容第三方視頻處理算法、技術(shù)與工具，極大提高了視頻存儲、管理、分析、檢索的效率。 （2）通過全文模糊文本搜索，向視頻應(yīng)用系統(tǒng)提供視頻結(jié)構(gòu)化信息的模糊搜索服務(wù)，尤其是搜索用戶手動標注的信息，實現(xiàn)對視頻結(jié)構(gòu)化信息的大規(guī)模高效查詢。 （3）基于Docker的模塊集成。提供統(tǒng)一/標準化工具集標準規(guī)范，任何符合工具集標準規(guī)范的算法（包括第三方算法）/工具均可以添加到視頻綜合服務(wù)平臺的工具集中，工具集中的工具可以運行于云計算集群中，大大地提高了系統(tǒng)平臺的通用性。 六、警務(wù)應(yīng)用 本文論述的基于云計算技術(shù)的視頻圖像綜合應(yīng)用平臺已經(jīng)逐步在河北全省開展建設(shè)。目

18、前，已經(jīng)完成了省級平臺和兩個市級平臺的初步搭建，省級平臺依托公安信息網(wǎng)和視頻專網(wǎng)作為網(wǎng)絡(luò)基礎(chǔ)支撐環(huán)境，在云計算中心基礎(chǔ)上集中建設(shè)了視頻云計算平臺，整合接入視頻資源50000路，為視頻應(yīng)用提供公共的技術(shù)環(huán)境和服務(wù)支撐，各市級平臺作為省級云計算中心的分支節(jié)點，接入視頻資源3000～10000路不等，為各市提供個性化視頻綜合應(yīng)用服務(wù)。 參考文獻： [1]趙星,廖桂平,史曉慧,等.物聯(lián)網(wǎng)與云計算環(huán)境下的農(nóng)業(yè)信息服務(wù)模式構(gòu)建[J].農(nóng)機化研究,2021,4:142-147. [2]張建勛,古志民,鄭超.云計算研究進展綜述[J].計算機應(yīng)用研究,2021,27(2):429-433. [3]蔡鳳穎.基于云存儲的手機數(shù)據(jù)備份系統(tǒng)[D].河北科技大學,2021. [4]許詩,文翰,肖南峰.基于無線視頻傳輸?shù)牡缆窞暮ΡO(jiān)控系統(tǒng)[J].重慶理工大學學報:自然科學,2021(10):46-53. 作者：連珂 何博文 王毅 單位：河北省公安廳科技信息化處 《云計算技術(shù)與技術(shù)選型分析》