《交通大數(shù)據(jù)管理與分析.pptx》由會員分享，可在線閱讀，更多相關《交通大數(shù)據(jù)管理與分析.pptx（20頁珍藏版）》請在裝配圖網(wǎng)上搜索。

交通大數(shù)據(jù)管理與分析,—云計算 —數(shù)據(jù)獲取、組織存儲、分析挖掘、可視化,研究背景,2,“十二五”規(guī)劃中明確指出，將大力推進交通信息建設，大力發(fā)展智能交通，提升交通運輸?shù)默F(xiàn)代化水平。 “十二五”期間智能交通投入,研究現(xiàn)狀,3,,城市智能交通行業(yè)“十二五”期間預計增速30%。 東部沿海城市的智能交通系統(tǒng)已經(jīng)初具規(guī)模，智能交通系統(tǒng)逐漸向軟件系統(tǒng)升級和信息服務方向過渡。 中西部地區(qū)是城市化進展最快的地方，催生了大批千萬級整體解決方案的出現(xiàn)。 行業(yè)整體成長期，需求增長明顯。,存在問題,4,,數(shù)據(jù)存儲能力；數(shù)據(jù)存儲能力的增長遠遠趕不上數(shù)據(jù)的增長，設計最合理的分層存儲架構(gòu)成為關鍵 數(shù)據(jù)挖掘能力；算法最優(yōu) 時效性；分析處理的時間越來越長，時效性要求越來越高 信息安全；保密、隱私、安全,構(gòu)建智能交通一站式云平臺,5,智能交通大數(shù)據(jù)云平臺整體構(gòu)架,6,,技術實現(xiàn),7,平臺技術實現(xiàn)思路是：,大數(shù)據(jù)技術處理和存儲,云計算技術,數(shù)學模型多維度分析與挖掘,可視化技術,采用大數(shù)據(jù)技術處理和存儲交通數(shù)據(jù)，結(jié)合大數(shù)據(jù)與云技術，利用專家數(shù)學模型對海量交通數(shù)據(jù)進行多維護的分析和挖掘，并通過云發(fā)布服務，將分析結(jié)果傳達至各類終端，提高人們對路橋狀態(tài)、交通情況的感知能力，使交通參與者能快速、全面、準確的完成交通評估和決策，實現(xiàn)交通智能化管理。,基礎服務層的技術實現(xiàn),8,該層采用OpenStack建立云平臺，即把存儲于個人計算機、移動電話和其他設備上的大量信息和處理器資源集中在一起，協(xié)同合作，整合交通數(shù)據(jù)源。,交通時間信息（事件類型、發(fā)生地點、時間） 基礎設施運行狀態(tài)（路面性能等） 交通運行狀態(tài)（車流量等） 氣象、環(huán)境信息（溫度、噪聲等） 車輛運行狀態(tài)（位置、速度等） 駕駛員、貨物狀態(tài)（事件類型等）,數(shù)據(jù)分析層的技術實現(xiàn),9,主要采用大數(shù)據(jù)技術來存儲、分析和挖掘,,,,,,數(shù)據(jù)采集/獲取,數(shù)據(jù)存儲與管理,數(shù)據(jù)分析與挖掘,數(shù)據(jù)可視化,數(shù)據(jù)存儲—NoSQL(非關系型數(shù)據(jù)庫),10,高并發(fā)性讀寫 對海量數(shù)據(jù)高效率存儲和訪問 對數(shù)據(jù)庫高可擴張性和高可用性,數(shù)據(jù)存儲--HBase技術,11,采用HBase技術使交通數(shù)據(jù)可存儲在多個數(shù)據(jù)中心，用戶所見的虛擬的單一數(shù)據(jù)中心，每個數(shù)據(jù)中心互為備份。這樣使得平臺具有對海量交通關系型數(shù)據(jù)和非關系型數(shù)據(jù)（如交通視頻、音頻、各類應用文檔等）的高吞吐能力，實現(xiàn)數(shù)據(jù)的快速存儲。,數(shù)據(jù)分析與挖掘--Hadoop技術,12,Hadoop是一個分布式系統(tǒng)軟件框架，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細節(jié)的情況下，發(fā)布分布式程序，充分利用集群的威力快速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System）,簡稱HDFS。,Hadoop軟件堆棧及其組件,13,數(shù)據(jù)分析--MapReduce,14,MapReduce是Google提出的一個軟件架構(gòu)，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。它使程序人員在不了解分布式并行編程的情況下，能將自己的程序運行在分布式系統(tǒng)上。MAP=映射，Reduce=規(guī)約或化簡。,數(shù)據(jù)分析--R語言,15,R是用于統(tǒng)計分析、繪圖的語言和操作環(huán)境。R是屬于GUN系統(tǒng)的一個自由、免費、源代碼開放的軟件，它是一個用于統(tǒng)計計算和統(tǒng)計制圖的優(yōu)秀工具。 R語言擅長在Hadoop分布式文件系統(tǒng)中存儲的非結(jié)構(gòu)化數(shù)據(jù)上的分析。 R現(xiàn)在還可以運行在HBase這種非關系的數(shù)據(jù)庫以及面向列的分布式數(shù)據(jù)存儲之上。,終端發(fā)布層的技術實現(xiàn),16,采用云計算服務將路橋狀態(tài)、交通情況等海量數(shù)據(jù)分析后所得的交通狀態(tài)進行多終端、多類型的發(fā)布服務。支持PC、Pad、智能手機（IOS/Android）等各類終端。,可視化技術,17,SPSS：Statistical Product and Service Solutions“統(tǒng)計產(chǎn)品與服務解決方案”軟件，為IBM公司推出的一系列用于統(tǒng)計學分析運算、數(shù)據(jù)挖掘、預測分析和決策支持任務的軟件產(chǎn)品及相關服務的總稱。 Gephi：Gephi是一款開源免費跨平臺基于JVM的復雜網(wǎng)絡分析軟件，可用作：探索性數(shù)據(jù)分析，鏈接分析，社交網(wǎng)絡分析，生物網(wǎng)絡分析等，是一款信息數(shù)據(jù)可視化利器。 Matlab: MathWorks公司出品的商業(yè)數(shù)序軟件于算法開發(fā)、數(shù)據(jù)可視化、數(shù)據(jù)分析以及數(shù)值計算的高級技術計算語言和交互式環(huán)境。,可視化技術展示,18,參考文獻,19,,,20,,