智能交通|城市交通大數(shù)據(jù)技術(shù)及智能應(yīng)用系統(tǒng)
2016-03-14
【摘要】城市交通大數(shù)據(jù)具有種類繁多、異質(zhì)性、時空尺度跨越大、動態(tài)多變、高度隨機性、局部性和生命周期較短等特征,如何有效地采集和利用交通大數(shù)據(jù),滿足高時效性的交通行政監(jiān)管、交通企業(yè)經(jīng)營管理、交通市民服務(wù)等應(yīng)用需求,是城市交通和智慧城市面臨的前所未有的機遇和挑戰(zhàn)。本文重點分析總結(jié)了城市交通大數(shù)據(jù)的若干研究內(nèi)容及核心技術(shù),提出了城市交通大數(shù)據(jù)智能應(yīng)用系統(tǒng)解決方案,列舉了幾種典型應(yīng)用,在城市交通和智慧城市領(lǐng)域的大數(shù)據(jù)研發(fā)和應(yīng)用領(lǐng)域進行了初步探討。
【關(guān)鍵詞】城市交通;大數(shù)據(jù);云計算;物聯(lián)網(wǎng)
1引言
2015年兩會上,“大數(shù)據(jù)(bigdata)”一詞首次寫入政府工作報告。在交通領(lǐng)域,大數(shù)據(jù)一直被視作緩解交通壓力的技術(shù)利器。應(yīng)用大數(shù)據(jù)有助于了解城市交通擁堵問題中人的出行規(guī)律和原因,實現(xiàn)交通和生活的和諧,提高城市的宜居性,為政府精準管理提供基于數(shù)據(jù)證據(jù)的綜合決策。同時,大數(shù)據(jù)的挖掘和使用還有利于催生信息消費新模式,促進信息消費產(chǎn)業(yè)發(fā)展。
隨著手機網(wǎng)絡(luò)、全球定位系統(tǒng)(globalpositioningsystem,GPS)/北斗車載導(dǎo)航、車聯(lián)網(wǎng)、交通物聯(lián)網(wǎng)的發(fā)展,交通要素的人、車、路等的信息都能夠?qū)崟r采集,城市交通大數(shù)據(jù)來源日益豐富。在日益成熟的物聯(lián)網(wǎng)和云計算平臺技術(shù)支持下,通過城市交通大數(shù)據(jù)的采集、傳輸、存儲、挖掘和分析等,有望實現(xiàn)城市交通一體化,即在一個平臺上實現(xiàn)交通行政監(jiān)管、交通企業(yè)運營、交通市民服務(wù)的集成和優(yōu)化。
城市交通大數(shù)據(jù)的集成與分析技術(shù)研究,對我國智慧城市的發(fā)展具有戰(zhàn)略性意義。交通大數(shù)據(jù)具有種類繁多、異質(zhì)性、時空尺度跨越大、動態(tài)多變、高度隨機性、局部性和有限生命周期等特征,如何有效地集成交通大數(shù)據(jù),滿足高時效性和知識牽引等城市交通智慧化需求,是各個大中城市所面臨的前所未有的發(fā)展機遇和挑戰(zhàn)。
本文首先簡單介紹了大數(shù)據(jù)的發(fā)展?fàn)顩r及趨勢,然后重點分析總結(jié)了城市交通大數(shù)據(jù)的若干核心技術(shù),并提出城市交通大數(shù)據(jù)的智能應(yīng)用系統(tǒng)解決方案,最后重點列舉了幾種典型應(yīng)用。
2大數(shù)據(jù)的發(fā)展?fàn)顩r及趨勢
近年來,數(shù)據(jù)的快速增長成了許多行業(yè)共同面對的嚴峻挑戰(zhàn)和寶貴機遇,信息社會正在進入大數(shù)據(jù)時代。大數(shù)據(jù)指的是涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具在合理時間內(nèi)達到感知、擷娶管理、處理和服務(wù)的數(shù)據(jù)集合。從2009年左右開始,“大數(shù)據(jù)”開始成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。
根據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)估測,數(shù)據(jù)一直以每年50%的速度增長(大數(shù)據(jù)摩爾定律),這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量,預(yù)計到2020年,全球?qū)⒖偣矒碛?5億GB(35ZB)的數(shù)據(jù)。大數(shù)據(jù)處理的數(shù)據(jù)規(guī)模從TB級上升到PB、EB甚至ZB級,人們面臨著如何降低數(shù)據(jù)存儲成本、充分利用計算資源、提高系統(tǒng)并發(fā)吞吐率、支持分布式非線性迭代算法優(yōu)化等眾多難題。
為了應(yīng)對大數(shù)據(jù)的發(fā)展趨勢,更好地為行業(yè)用戶和個人提供數(shù)據(jù)分析的服務(wù),亟需構(gòu)建各類不同的大數(shù)據(jù)平臺,支持用戶對數(shù)據(jù)的多種需求。構(gòu)建大數(shù)據(jù)平臺就是要將不同渠道、不同來源、不同結(jié)構(gòu)的數(shù)據(jù)進行有機的整合。與傳統(tǒng)數(shù)據(jù)平臺不同的是,大數(shù)據(jù)海量的規(guī)模、多樣的類型、快速的流動和動態(tài)的體系以及巨大的價值是大數(shù)據(jù)平臺構(gòu)建需要重點考慮的幾個因素。除此之外,數(shù)據(jù)的分類存儲、數(shù)據(jù)平臺的開放性、數(shù)據(jù)的智能處理以及數(shù)據(jù)平臺與用戶的交互都為大數(shù)據(jù)平臺的建設(shè)帶來前所未有的挑戰(zhàn)。
大數(shù)據(jù)平臺處理的數(shù)據(jù)類型是多種多樣的。目前這些平臺的搭建已經(jīng)有了一些有代表性的成果,如Google公司的Freebase、微軟公司的Probase、國內(nèi)著名的中文信息結(jié)構(gòu)庫——中國知網(wǎng)。在商用數(shù)據(jù)平臺方面,IBM公司的Infosphere大數(shù)據(jù)分析平臺、天睿公司的Teradata統(tǒng)一數(shù)據(jù)環(huán)境以及由國內(nèi)天貓、阿里云、萬網(wǎng)聯(lián)合推出的國內(nèi)首個電商云工作平臺聚石塔是3個典型的數(shù)據(jù)平臺。
“大數(shù)據(jù)”本身是一個現(xiàn)象而不僅僅是一種技術(shù),這是信息科技歷史發(fā)展的必然結(jié)果。大數(shù)據(jù)的采集、傳輸、處理和應(yīng)用所需的相關(guān)大數(shù)據(jù)處理技術(shù),是通過系列地使用非傳統(tǒng)工具來對大量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行處理,從而獲得分析和預(yù)測結(jié)果的一系列大數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義也不僅在于掌握龐大的數(shù)據(jù)信息,而更在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換言之,如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵在于提高對數(shù)據(jù)的“加工能力”,通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。大數(shù)據(jù)領(lǐng)域已經(jīng)涌現(xiàn)出了大量新的技術(shù),它們成為大數(shù)據(jù)采集、存儲、處理和呈現(xiàn)等功能的有力武器。大數(shù)據(jù)發(fā)展呈現(xiàn)以下趨勢:
(1)基于云計算的數(shù)據(jù)分析平臺
云計算為大數(shù)據(jù)提供了可以彈性擴展、相對便宜的存儲空間和計算資源,使得中小企業(yè)也可以像亞馬遜公司一樣通過云計算來完成大數(shù)據(jù)分析。云計算IT資源龐大、分布較為廣泛,是異構(gòu)系統(tǒng)較多的企業(yè)及時準確處理數(shù)據(jù)的有力方式,甚至是唯一的方式。
大數(shù)據(jù)要走向云計算,還有賴于數(shù)據(jù)通信帶寬的提高和云資源池的建設(shè),需要確保原始數(shù)據(jù)能遷移到云計算環(huán)境以及資源池可以隨需彈性擴展。
(2)數(shù)據(jù)分析集逐步擴大,企業(yè)級數(shù)據(jù)倉庫將成為主流
當(dāng)人們從大數(shù)據(jù)分析中嘗到甜頭以后,數(shù)據(jù)分析集就會逐步擴大。目前大部分的企業(yè)分析的數(shù)據(jù)量一般以TB為單位。按照目前數(shù)據(jù)的發(fā)展速度,數(shù)據(jù)量很快將會進入PB時代。特別是目前在100~500TB和500+TB范圍的分析數(shù)據(jù)集的數(shù)量會成倍增長。
隨著數(shù)據(jù)分析集的擴大,以前部門層級的數(shù)據(jù)集將不能滿足大數(shù)據(jù)分析的需求,它們將成為企業(yè)級數(shù)據(jù)庫(EDW)的一個子集。因此,企業(yè)內(nèi)的數(shù)據(jù)分析將從部門級過渡到企業(yè)級,從面向部門需求轉(zhuǎn)向面向企業(yè)需求,從而也必將獲得比部門視角更大的益處。隨著政府和行業(yè)數(shù)據(jù)的開放,更多的外部數(shù)據(jù)將進入企業(yè)級數(shù)據(jù)倉庫,使得數(shù)據(jù)倉庫規(guī)模更大,數(shù)據(jù)的價值也更大。
(3)Hadoop對MapReduce的依賴程度越來越小
Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架,能夠處理PB級數(shù)據(jù),具有高可靠性、高擴展性、高效性和高容錯性等特點。其新版本不只為MapReduce服務(wù),而是和Cloudera的Impala一樣用一個SQL查詢引擎或者其他的方法來替代MapReduce。HBaseNoSQL數(shù)據(jù)庫就是Hadoop離開MapReduce約束后的一個很好的例子。未來Hadoop平臺將在大數(shù)據(jù)處理中發(fā)揮越來越重要的作用。
3城市交通大數(shù)據(jù)
3.1城市交通大數(shù)據(jù)的主要研究內(nèi)容
城市交通大數(shù)據(jù)的研究內(nèi)容主要包括以下方面:
(1)時效約束的大數(shù)據(jù)多尺度匯聚計算和動態(tài)圖譜
交通大數(shù)據(jù)存在多源、異質(zhì)、局部性、時空關(guān)聯(lián)、異步性、信息稀疏性和并發(fā)性等特點,而城市交通系統(tǒng)存在著對大數(shù)據(jù)匯聚處理的高時效性以及對“大而信息稀疏”的交通大數(shù)據(jù)的領(lǐng)域知識牽引要求?，F(xiàn)有的數(shù)據(jù)融合、計算理論與方法難以滿足高時效性的大數(shù)據(jù)處理和基于數(shù)據(jù)的知識構(gòu)建與轉(zhuǎn)換等需求,亟需提出時效約束的大數(shù)據(jù)多尺度匯聚計算和動態(tài)圖譜的交通大數(shù)據(jù)處理新理論與新方法。
(2)高維空間的隱性知識序貫挖掘與演化模型
交通主體、行為、態(tài)勢、路網(wǎng)拓撲和環(huán)境形成了高維生態(tài)系統(tǒng)閉空間,相互之間存在著高度非線性、隨機性和動態(tài)的耦合關(guān)系。交通態(tài)勢及其演化是交通系統(tǒng)的宏觀體現(xiàn),具有約束條件下的動態(tài)性、序貫性、自組織、隨機性等特點,交通態(tài)勢機理解釋對解決城市交通的難題非常重要。傳統(tǒng)的交通理論難以發(fā)現(xiàn)隱含在如此高維空間的知識,對交通出行規(guī)律及其時空演化、大面積交通擁堵演變規(guī)律、環(huán)境與交通行為等進行綜合知識和數(shù)據(jù)支撐的解釋與評價,高維空間的隱性知識序貫挖掘與演化將為此提供堅實的理論與技術(shù)支撐。
(3)交通態(tài)勢的預(yù)測機理與調(diào)控策略
交通態(tài)勢是城市交通系統(tǒng)運行狀態(tài)的反映,受到交通需求、網(wǎng)絡(luò)拓撲、多交通子系統(tǒng)、環(huán)境、管理和調(diào)控策略等眾多因素的相互影響與作用。由于城市交通態(tài)勢具有時變性、不確定性、非馬氏性以及影響因素之間的相關(guān)性等特點,是一個超維的復(fù)雜巨系統(tǒng),其調(diào)控與預(yù)測是世界性的難題,目前尚缺乏相關(guān)的理論與方法。交通態(tài)勢的預(yù)測機理與調(diào)控策略的研究,將創(chuàng)建復(fù)雜交通巨系統(tǒng)的預(yù)測及其控制的新理論與途徑。
3.2城市交通大數(shù)據(jù)相關(guān)處理技術(shù)
在城市交通蓬勃發(fā)展的過程中,其數(shù)據(jù)采集量必然成倍增長,形成海量、動態(tài)、實時的交通大數(shù)據(jù)。因此,以大數(shù)據(jù)處理技術(shù)為支撐的城市交通信息服務(wù)將成為未來智能交通發(fā)展的增長點。城市交通所涉及的大數(shù)據(jù)技術(shù),總結(jié)起來大致包括如下內(nèi)容。
(1)基于Hadoop框架的MapReduce模式技術(shù)
Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架,而map/reduce是Hadoop的核心計算模型,它將復(fù)雜地運行于大規(guī)模集群上的并行計算過程高度地抽象到了兩個函數(shù)。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)(Hadoopdistributedfilesystem,HDFS)。HDFS有著高容錯性的特點,用來部署在低廉的硬件上。而且它能提供高傳輸率來訪問應(yīng)用程序的數(shù)據(jù),適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。
(2)數(shù)據(jù)倉庫技術(shù)
數(shù)據(jù)倉庫是決策支持系統(tǒng)(DSS)和聯(lián)機分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境,研究和解決從數(shù)據(jù)庫中獲取信息等問題。數(shù)據(jù)倉庫的特征在于面向主題、集成性、穩(wěn)定性和時變性。其主要功能是將組織通過資訊系統(tǒng)的聯(lián)機交易處理(OLTP)經(jīng)年累月所累積的大量資料、數(shù)據(jù)倉庫理論所特有的資料存儲架構(gòu)進行系統(tǒng)的分析整理,以利于各種分析方法如線上分析處理(OLAP)、數(shù)據(jù)挖掘(datamining)的進行,進而支持決策支持系統(tǒng)、主管資訊系統(tǒng)(EIS)等系統(tǒng)的創(chuàng)建,幫助決策者快速、有效地從大量數(shù)據(jù)資料中分析出有價值的信息,以利于決策擬定及快速回應(yīng)外在環(huán)境變動,幫助構(gòu)建商業(yè)智能。
(3)中央數(shù)據(jù)登記簿技術(shù)
中央數(shù)據(jù)登記簿系統(tǒng)是平臺數(shù)據(jù)統(tǒng)一管理、綜合交通信息服務(wù)的基礎(chǔ),包括與交通信息有關(guān)的數(shù)據(jù)表示和交互以及交通信息服務(wù)、適合于綜合交通環(huán)境的數(shù)據(jù)字典和消息模板、交通數(shù)據(jù)項定義規(guī)則、注冊和管理機制等。
(4)平臺GIS-T應(yīng)用技術(shù)
平臺GIS-T應(yīng)用技術(shù)是交通地理信息系統(tǒng)的支撐技術(shù),可為交通信息服務(wù)提供高效的信息查詢功能、海量的存儲功能,包括出租車、公交車、綜合交通視頻信息等數(shù)據(jù);提供優(yōu)秀用戶體驗的WebGIS引擎,讓用戶享受基于瀏覽器的交通信息服務(wù)。
(5)基于非序列性數(shù)據(jù)操作技術(shù)
基于非序列性數(shù)據(jù)操作技術(shù)包括虛擬化環(huán)境以及流數(shù)據(jù)處理技術(shù),通過網(wǎng)絡(luò)將大量服務(wù)器的內(nèi)存空間統(tǒng)合在一起,使之形成一個超大型的虛擬內(nèi)存,然后在其上進行數(shù)據(jù)配置,可實現(xiàn)對現(xiàn)有設(shè)備資源的最大使用效率,同時實現(xiàn)對即時性數(shù)據(jù)的反饋能力。
(6)視頻大數(shù)據(jù)處理技術(shù)
視頻大數(shù)據(jù)處理技術(shù)將目前各個專用性的視頻監(jiān)控系統(tǒng)有機地整合在一起,實現(xiàn)視頻資源統(tǒng)一接入、統(tǒng)一轉(zhuǎn)碼、統(tǒng)一分發(fā)、統(tǒng)一管理和統(tǒng)一運營的“五統(tǒng)一”目標(biāo)。它可整合包括交通視頻、站臺視頻、客運站視頻、高速公路視頻、社會治安視頻、車載視頻等在內(nèi)的多種視頻資源,提高整體視頻監(jiān)控的效率,且基于視頻監(jiān)控基礎(chǔ)設(shè)施之上創(chuàng)造更多增值性的應(yīng)用,從而實現(xiàn)視頻監(jiān)控系統(tǒng)的最大化效用。
(7)大數(shù)據(jù)處理技術(shù)
大數(shù)據(jù)預(yù)處理技術(shù)是將接入平臺的數(shù)據(jù)根據(jù)具體的業(yè)務(wù)規(guī)則進行進一步的處理,包括對接入的數(shù)據(jù)進行有效性的檢驗、大數(shù)據(jù)清洗等。大數(shù)據(jù)標(biāo)準化處理技術(shù)從數(shù)據(jù)庫中取出經(jīng)過清洗后的數(shù)據(jù),根據(jù)業(yè)務(wù)規(guī)則將外部系統(tǒng)的數(shù)據(jù)格式轉(zhuǎn)化為平臺定義的標(biāo)準格式。
(8)大數(shù)據(jù)融合處理技術(shù)
大數(shù)據(jù)融合處理技術(shù)是指采用多源交通信息融合方法,結(jié)合特征融合技術(shù)(識別/分類、神經(jīng)網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)等)、目標(biāo)機動信息處理技術(shù)(自適應(yīng)噪聲模型等)及多目標(biāo)跟蹤的信息融合技術(shù),提高信息系統(tǒng)的頑健性及可靠性。多源交通大數(shù)據(jù)信息融合分為3級:基礎(chǔ)級是數(shù)據(jù)級融合,它只完成數(shù)據(jù)的預(yù)處理和簡單關(guān)聯(lián);第二級是特征級融合,就是根據(jù)現(xiàn)有數(shù)據(jù)的特征預(yù)測交通參數(shù);第三級是狀態(tài)級融合,根據(jù)當(dāng)前交通流信息判斷交通狀態(tài)。交通流信息融合的基本過程包括多源信息提娶信息預(yù)處理、融合處理以及目標(biāo)參數(shù)獲取和狀態(tài)估計。
(9)實時數(shù)據(jù)分發(fā)訂閱技術(shù)
海量交通大數(shù)據(jù)具有數(shù)據(jù)量大、更新頻繁、時效性高等特點,往往需要來自于其他系統(tǒng)的實時數(shù)據(jù)來支持其業(yè)務(wù)邏輯。比如浮動車輛的GPS數(shù)據(jù)、目前城市道路的路況分析和收費站排隊監(jiān)控分析、省級運政衛(wèi)星定位聯(lián)網(wǎng)監(jiān)控系統(tǒng)的上報、營運車輛安全監(jiān)管系統(tǒng)等監(jiān)控分析系統(tǒng)需要向外單位共享的數(shù)據(jù)。
(10)大數(shù)據(jù)挖掘技術(shù)
多源交通大數(shù)據(jù)挖掘是一個多步驟的過程,可以分為問題定義、數(shù)據(jù)準備、數(shù)據(jù)分析、模式評估等基本階段。其處理模型如圖1所示。
圖1交通大數(shù)據(jù)挖掘模型
4城市交通大數(shù)據(jù)的智能應(yīng)用系統(tǒng)
4.1交通大數(shù)據(jù)采集內(nèi)容
城市交通大數(shù)據(jù)可分為靜態(tài)大數(shù)據(jù)與動態(tài)大數(shù)據(jù)。
靜態(tài)交通大數(shù)據(jù)主要包括城市交通的基礎(chǔ)空間數(shù)據(jù)(地表模型、高清正射影像等)、城市及周邊基礎(chǔ)地理信息(城市路網(wǎng)、交叉口布局、城市基礎(chǔ)交通實施信息)、道路交通網(wǎng)絡(luò)基礎(chǔ)信息(道路等級、長度、收費信息)、道路交通客運信息(客運班線、客動票務(wù)、市區(qū)公交信息、車站線路輻射圖、客運企業(yè)信息、交通換乘點等)、航班信息、列車信息、水運信息(船次、起終碼點、開船時間等)、停車場信息(停車場位置、名稱、總泊位數(shù)、開閉狀態(tài)、空閑泊位數(shù)等)、交通管理信息(警區(qū)界限、安全界限、警力分布、交通崗位、執(zhí)法站、車管所、檢測嘗考試嘗過境檢查站)以及交通抽樣調(diào)查數(shù)據(jù)等。
動態(tài)交通大數(shù)據(jù)來源廣泛、形式多樣,主要包括通過衛(wèi)星遙感、航空攝影測量,低空無人機應(yīng)急平臺、地面測量車、地面視頻等遙感手段獲取的數(shù)據(jù)以及地面智能交通系統(tǒng)中,通過視頻、手機、公交卡、地感線圈等傳感設(shè)備和移動終端采集的人、車、路等交通要素的數(shù)據(jù)。從人可以采集到的數(shù)據(jù)有駕駛行為數(shù)據(jù)、付費行為數(shù)據(jù)和出行行為數(shù)據(jù),從車采集到的數(shù)據(jù)有車輛信息數(shù)據(jù)、車輛實時位置數(shù)據(jù)、公交車運營數(shù)據(jù)、出租車運營數(shù)據(jù)、眾包路況數(shù)據(jù),關(guān)于路的數(shù)據(jù)有衛(wèi)星影像數(shù)據(jù)、航空攝影數(shù)據(jù)和道路基礎(chǔ)設(shè)施數(shù)據(jù)。
4.2交通大數(shù)據(jù)云計算支撐平臺
城市交通大數(shù)據(jù)和相關(guān)業(yè)務(wù)的服務(wù)采用云計算技術(shù)來實現(xiàn),其總體邏輯架構(gòu)如圖2所示。采用云計算技術(shù)來支撐一體化交通大數(shù)據(jù),按需提供自助管理虛擬基礎(chǔ)架構(gòu)匯集成高效池,以服務(wù)的形式提供資源。云計算支撐平臺包括數(shù)據(jù)中心物理資源管理、數(shù)據(jù)中心邏輯資源、數(shù)據(jù)中心運營平臺和維護。
圖2城市交通大數(shù)據(jù)云計算支撐平臺
城市交通云計算支撐平臺包含多個子系統(tǒng),各系統(tǒng)提供穩(wěn)定的信息、管理、監(jiān)控服務(wù)。為了支持智能交通7×24h的穩(wěn)定、高效服務(wù),可引入云計算虛擬化平臺。利用虛擬化技術(shù)將應(yīng)用系統(tǒng)與物理機進行分離,減少因物理環(huán)境導(dǎo)致的系統(tǒng)中斷服務(wù),在不影響用戶的情況下對物理資源進行刪除、升級或改變。
4.3交通大數(shù)據(jù)的智能應(yīng)用系統(tǒng)
交通大數(shù)據(jù)的智能應(yīng)用系統(tǒng)是基于交通大數(shù)據(jù)中心、交通云計算支撐平臺來搭建的智能應(yīng)用系統(tǒng),采用“中心數(shù)據(jù)存儲和處理”和“本地服務(wù)應(yīng)用”的模式,從海量的交通數(shù)據(jù)中抓取實時數(shù)據(jù),分析挖掘歷史數(shù)據(jù),基于歷史數(shù)據(jù)對未來情況做出預(yù)測,為智能交通提供決策性建議。
交通大數(shù)據(jù)智能應(yīng)用系統(tǒng)可分別為政府、企業(yè)、公眾提供智能交通信息服務(wù)。系統(tǒng)可為政府部門提供交通行政監(jiān)管支持,主要提供精細地理信息服務(wù)、交通管理服務(wù)、應(yīng)急響應(yīng)服務(wù)、路邊車位監(jiān)管服務(wù)、公共交通監(jiān)管服務(wù)等;為公眾搭建基于手機應(yīng)用的交通信息服務(wù),通過交通信息服務(wù)也可采集公眾日常出行行為的數(shù)據(jù),主要有精細地理信息服務(wù)、精準實時路況服務(wù)、精準交通信息服務(wù)、實時車輛信息服務(wù)、交通誘導(dǎo)信息服務(wù)、停車誘導(dǎo)信息服務(wù)等;為企業(yè)提供交通信息增值服務(wù),主要有精細地理信息服務(wù)、公交車公司車輛調(diào)度及輔助決策、商業(yè)數(shù)據(jù)分析等。不同用戶可共享行業(yè)數(shù)據(jù)、計算資源、個性化情報分析結(jié)果,在數(shù)據(jù)采集共享、大規(guī)模數(shù)據(jù)實時處理和分析、企業(yè)突發(fā)事件處置應(yīng)對方面具有十分突出的優(yōu)勢,從而大大節(jié)約了系統(tǒng)資源和成本,提升了工作效率。
系統(tǒng)所采用的技術(shù)主要包括基于決策樹—支持向量機(DTM-SVM)的多源異構(gòu)交通信息融合技術(shù)、基于SOA的交通信息基礎(chǔ)數(shù)據(jù)服務(wù)設(shè)計、ZigBee無線傳感器網(wǎng)絡(luò)技術(shù)、基于移動互聯(lián)網(wǎng)的交通信息應(yīng)用服務(wù)設(shè)計、基于機器學(xué)習(xí)的行程時間預(yù)測、基于位置服務(wù)(LBS)的行人交通信息服務(wù)技術(shù)等。
5城市交通大數(shù)據(jù)智能系統(tǒng)的典型應(yīng)用
筆者和廣州市交通委員會及下屬公司等單位的專家們,多年來保持密切的產(chǎn)學(xué)研合作,一起提出了城市交通大數(shù)據(jù)智能系統(tǒng)相關(guān)的典型應(yīng)用解決方案,大致介紹如下。
5.1城市交通大數(shù)據(jù)的公交行政監(jiān)管與科學(xué)決策
城市交通大數(shù)據(jù)的公交行政監(jiān)管與科學(xué)決策支持系統(tǒng)(如圖3所示)實現(xiàn)可分為3個步驟:首先,集成城市公共交通采集的站臺、線路、道路、活動場所的交通數(shù)據(jù),研發(fā)MapReduce框架下的海量交通流融合與預(yù)測算法,針對復(fù)雜交通系統(tǒng)行為的不可預(yù)測性,充分考慮簡單對象的主動性和隨機性,從行為生成的角度出發(fā)實現(xiàn)對城市公共交通系統(tǒng)的“等價”描述;然后,針對城市公共交通的運營與管理需求,通過計算實驗和涌現(xiàn)觀察,生成實時、未來和各種可能情況下的交通場景,包含正常條件下的交通環(huán)境,還包括交通事故、惡劣天氣、突發(fā)事件等異常條件下的交通環(huán)境;最后,通過實際交通系統(tǒng)與人工交通系統(tǒng)之間交互運行和過程演化,實現(xiàn)城市公共交通運行數(shù)據(jù)分析與調(diào)度方案演練,并為交通管理者和出行者提供基于位置的交通服務(wù)信息。
圖3城市交通大數(shù)據(jù)的公交行政監(jiān)管與科學(xué)決策支持系統(tǒng)
大數(shù)據(jù)可以輔助公共交通規(guī)劃制定決策。傳統(tǒng)的方式需要投入大量人力進行OD調(diào)查和數(shù)據(jù)收集。目前的一卡通可讓數(shù)據(jù)更為全面地展現(xiàn)在決策人員面前,流量數(shù)據(jù)全部可以精確掌握,同時再利用車輛擁堵時間、擁堵路段的大數(shù)據(jù)分析,公交車的線路調(diào)整、增加與減少換乘站的決策就會更加有依據(jù)。
(1)城市公共交通云計算服務(wù)平臺體系
城市公共交通云計算服務(wù)平臺采用4層結(jié)構(gòu),分別為應(yīng)用層、平臺層、統(tǒng)一資源層和物理層。云計算服務(wù)平臺使得公共交通管理成為了一個開放式的可擴展系統(tǒng)。新的交通管理方案可以很快得到實施,而無需對現(xiàn)場的硬件設(shè)備進行更新?lián)Q代。控制中心通過交通管理云提供的服務(wù),不斷對交通控制代理的運行進行優(yōu)化,使系統(tǒng)性能得到提升,實現(xiàn)多個城市的交通控制系統(tǒng)連接交通管理云,實現(xiàn)數(shù)據(jù)集中、數(shù)據(jù)共享和服務(wù)共享。
(2)基于海量交通檢測數(shù)據(jù)的融合與預(yù)測
城市交通大數(shù)據(jù)和相關(guān)的業(yè)務(wù)服務(wù)采用云計算技術(shù)來實現(xiàn),其總體邏輯架構(gòu)如圖4所示。采用云計算技術(shù)來支撐一體化交通大數(shù)據(jù),按需提供自助管理虛擬基礎(chǔ)架構(gòu)匯集成高效池,以服務(wù)的形式提供資源。云計算支撐平臺包括數(shù)據(jù)中心物理資源管理、數(shù)據(jù)中心邏輯資源、數(shù)據(jù)中心運營平臺和維護。
圖4平行交通系統(tǒng)的云計算架構(gòu)
在進行交通流預(yù)測時,需要根據(jù)交通流檢測數(shù)據(jù)建立合理的交通流模型。采用混合高斯模型,并用期望最大化(EM)算法對模型的參數(shù)進行學(xué)習(xí)求解。在MapReduce架構(gòu)下將EM算法進行并行處理,通過云計算平臺來實現(xiàn)算法的分布式運行,滿足海量交通數(shù)據(jù)的處理要求,提升模型參數(shù)學(xué)習(xí)的速度。實施流程如圖5所示,首先基于MapReduce模型來實現(xiàn)交通流預(yù)測,研究分布式模型學(xué)習(xí)方法,建立相應(yīng)的數(shù)據(jù)處理算法,加速模型參數(shù)的學(xué)習(xí)過程,進而進行模型合并,得到各個路口的交通流預(yù)測模型,產(chǎn)生最終的預(yù)測結(jié)果。
圖5交通流檢測數(shù)據(jù)融合與預(yù)測實施流程
(3)基于平行交通的公共交通計算實驗平臺
在實際交通系統(tǒng)和人工交通系統(tǒng)平行執(zhí)行的基礎(chǔ)上,利用計算實驗方法在平行交通系統(tǒng)上進行各種試驗,對城市公共交通系統(tǒng)的行為進行預(yù)測和分析。實際交通系統(tǒng)中的算法分析工具以模塊和組件的形式應(yīng)用于平行交通系統(tǒng)實驗平臺中,其中包括各類學(xué)習(xí)策略與優(yōu)化算法、定性與定量計算實驗評估算法以及對各交通場景(包括常規(guī)交通需求場景、增強交通需求場景和突發(fā)事件交通場景)提供特定支持的專用算法模塊,這些工具將動態(tài)地分析、評估和優(yōu)化公共交通計算實驗過程及其結(jié)果,并結(jié)合評價指標(biāo)體系更新評價結(jié)果。
(4)針對城市公共交通管理應(yīng)用需求,構(gòu)建實際交通系統(tǒng)與人工交通系統(tǒng)之間交互運行和過程演化的“平行系統(tǒng)”
評估分析城市公共交通當(dāng)前運行狀態(tài)并預(yù)測未來的情況,為公共交通管理方案提供演練環(huán)境。在平行交通系統(tǒng)的基礎(chǔ)上,開展城市交通管理的評價實驗,評價并優(yōu)化常規(guī)需求情況下、增強需求情況下、突發(fā)事件情況下的管理方案。將管理方案置于實際的和各種人工的交通場景之中,涌現(xiàn)“觀察”方案的實施效果,建立包含交通疏散任務(wù)完成效果、背景交通影響程度等要素的綜合評價指標(biāo)體系,綜合評價疏散方案在不同需求情況下的實施效果。
(5)綜合利用傳統(tǒng)媒體和移動互聯(lián)網(wǎng)媒體,為用戶提供基于位置的公共交通服務(wù)信息
通過手機客戶端、公交電視、電子站牌、Web網(wǎng)站、調(diào)度客戶端、監(jiān)控客戶端等形式為公交乘客、公交企業(yè)管理者、政府行業(yè)管理人員提供出行服務(wù)、運營調(diào)度、企業(yè)管理、行業(yè)監(jiān)管等不同層次的服務(wù),影響或改變城市公交狀態(tài)。
5.2城市交通大數(shù)據(jù)的公交精細化調(diào)度與管理
將GPS定位技術(shù)、3G通信技術(shù)、地理信息系統(tǒng)(GIS)技術(shù)等結(jié)合對車輛進行監(jiān)控,基于此實施的公交車智能調(diào)度策略,提高了公交車的利用率,同時也在不斷減輕城市道路的擁堵負擔(dān)。
城市交通大數(shù)據(jù)的公交精細化調(diào)度與管理系統(tǒng)將公交要素標(biāo)識標(biāo)簽、公交車載信息中心(車載RSU)等物聯(lián)網(wǎng)設(shè)備大規(guī)模部署于公交車、公交站臺等場所,采集公交車輛狀態(tài)信息、站點信息、行駛信息、客流信息,并通過建設(shè)公交大數(shù)據(jù)處理分析平臺,基于大數(shù)據(jù)技術(shù)對上述采集數(shù)據(jù)進行分析,通過數(shù)據(jù)的集成、計算,形成各類數(shù)據(jù)應(yīng)用,為公交企業(yè)、公眾出行者、政府管理部門提供公交調(diào)度服務(wù)、公交個性化信息服務(wù)以及公交行業(yè)監(jiān)管服務(wù),徹底解決公交站點智能維護、公交“飛站”、車距監(jiān)管、精準報站、發(fā)班與客流匹配等公交運營和監(jiān)管難題,最終提升城市公交服務(wù)水平?；诔鞘薪煌ù髷?shù)據(jù)的公交精細化調(diào)度與管理系統(tǒng)如圖6所示,包括3個層面。
圖6基于城市交通大數(shù)據(jù)的公交精細化調(diào)度與管理系統(tǒng)
城市公交狀態(tài)感知層:采用基于物聯(lián)網(wǎng)技術(shù)的交通要素標(biāo)識標(biāo)簽、公交車載信息中心、司機信息顯示屏以及智能手機等設(shè)備,通過對公交各要素的電子化標(biāo)識、數(shù)據(jù)采集和數(shù)據(jù)共享,實現(xiàn)對城市公交狀態(tài)智能感知。同時,接收來自城市公交信息服務(wù)層提供的各類信息。
城市公交大數(shù)據(jù)處理層:接收來自城市公交狀態(tài)感知層采集的城市公交數(shù)據(jù),基于大數(shù)據(jù)技術(shù)進行大數(shù)據(jù)分析,通過數(shù)據(jù)的集成、計算,形成各類數(shù)據(jù)應(yīng)用,為城市公交信息服務(wù)層提供數(shù)據(jù)服務(wù)。
城市公交信息服務(wù)層:可通過手機客戶端、公交電視、電子站牌、Web網(wǎng)站、調(diào)度客戶端、監(jiān)控客戶端等形式為公交乘客、公交企業(yè)管理者、政府行業(yè)管理人員提供出行服務(wù)、運營調(diào)度、企業(yè)管理、行業(yè)監(jiān)管等不同層次的服務(wù),影響或改變城市公交狀態(tài)。
5.3城市交通大數(shù)據(jù)的個性化服務(wù)平臺
以交通行業(yè)大數(shù)據(jù)處理為核心,整合城市交通各行業(yè)數(shù)據(jù)資源,通過大數(shù)據(jù)處理技術(shù),實現(xiàn)數(shù)據(jù)存儲、清洗、融合和挖掘,最終為城市交通行政部門決策和公眾出行提供個性化的支持和服務(wù)。個性化服務(wù)平臺包括基礎(chǔ)信息綜合平臺實現(xiàn)交通行業(yè)數(shù)據(jù)采集整合、海量數(shù)據(jù)處理平臺實現(xiàn)數(shù)據(jù)分析處理、交通決策服務(wù)平臺為政府和公眾提供決策支持和信息服務(wù),如圖7所示。
圖7基于城市交通大數(shù)據(jù)的個性化服務(wù)平臺
(1)基礎(chǔ)信息綜合平臺
基礎(chǔ)信息綜合平臺為個性化服務(wù)平臺的基礎(chǔ),是實時交通信息發(fā)布的數(shù)據(jù)來源,主要功能是交通信息數(shù)據(jù)的收集和處理。將各個子系統(tǒng)中的交通數(shù)據(jù)按照一定的編碼規(guī)則和既定格式采集起來,將其轉(zhuǎn)換為可用的綜合交通信息,基礎(chǔ)信息綜合平臺是整個智能交通信息組織過程中的信息樞紐,是實時交通信息發(fā)布的數(shù)據(jù)來源,進行交通信息數(shù)據(jù)的收集和處理,并為外部數(shù)據(jù)接入和對外數(shù)據(jù)分發(fā)提供數(shù)據(jù)規(guī)范和標(biāo)準接口。
基礎(chǔ)信息綜合平臺將來自不同系統(tǒng)的數(shù)據(jù)進行處理后,匯入數(shù)據(jù)管理層,數(shù)據(jù)管理層關(guān)注與其他層次的交互,擔(dān)當(dāng)事務(wù)監(jiān)控器、消息系統(tǒng)及其他角色,存儲著持久數(shù)據(jù)。選用業(yè)界高性能的數(shù)據(jù)庫來提供數(shù)據(jù)存儲、數(shù)據(jù)存取訪問、數(shù)據(jù)訪問控制、數(shù)據(jù)共享等服務(wù)。處理以上各層之間的數(shù)據(jù)通信問題,包括對各層之間的數(shù)據(jù)進行相互傳輸。主要包含浮動車信息采集系統(tǒng)、智能交通監(jiān)控調(diào)度系統(tǒng)、出租車綜合管理系統(tǒng)、停車場行業(yè)管理系統(tǒng)、客運聯(lián)網(wǎng)售票系統(tǒng)、資源整合系統(tǒng)、仿真基礎(chǔ)數(shù)據(jù)采集系統(tǒng)等。不同的檢測技術(shù)適合于不同的采集環(huán)境,因此仿真基礎(chǔ)數(shù)據(jù)采集處理包括視頻交通流檢測系統(tǒng)、微波檢測系統(tǒng)、移動式地磁檢測系統(tǒng)三大模塊。
(2)大數(shù)據(jù)智能處理平臺
大數(shù)據(jù)處理是結(jié)合交通系統(tǒng)的實際情況,研究綜合交通模型體系,制定綜合交通信息的數(shù)據(jù)規(guī)范和接口規(guī)范,并在此基礎(chǔ)上研究和驗證綜合交通大數(shù)據(jù)的接入和融合技術(shù)、大數(shù)據(jù)處理和多維度挖掘技術(shù)以及大數(shù)據(jù)的安全和有效管理技術(shù),從而最終建設(shè)完成市區(qū)綜合交通信息中心,并為交通信息服務(wù)、交通行業(yè)管理部門的智能決策等提供支持。
(3)交通信息服務(wù)平臺
交通信息服務(wù)平臺是利用基礎(chǔ)平臺和數(shù)據(jù)智能處理平臺提供的經(jīng)整合處理后的交通信息,為公眾出行提供個性化交通信息服務(wù)的發(fā)布平臺。結(jié)合筆者和合作單位多年的交通信息服務(wù)實踐,交通信息服務(wù)平臺將通過移動互聯(lián)網(wǎng)(手機應(yīng)用)、傳統(tǒng)網(wǎng)站、電話熱線、電子站牌、交通情報板(誘導(dǎo)屏)、廣播電視、公共信息亭、導(dǎo)航儀等多種媒介為公眾提供免費或增值服務(wù),該平臺還將為不同發(fā)布渠道提供軟件配套支持。
基于移動互聯(lián)網(wǎng)的信息服務(wù):利用3G網(wǎng)絡(luò)等移動互聯(lián)寬帶技術(shù),一方面可以通過其采集用戶位置信息提供豐富位置服務(wù);另一方面使手機終端能快捷訪問交通信息服務(wù),包括交通視頻、圖像等多媒體信息,提供的軟件功能包括:路況信息、停車服務(wù)、實時公交、出行規(guī)劃、地鐵信息、鐵路航班、客運信息、的士查詢、駕培信息、交通資訊等。
基于傳統(tǒng)互聯(lián)網(wǎng)的信息服務(wù):對交通信息進行采集、分析、挖掘、發(fā)布,打造全方位、一站式的交通信息服務(wù)發(fā)布平臺,為用戶提供包括實時路況、交通視頻、實時公交、出租車空車分布、網(wǎng)上汽車票查詢預(yù)訂、停車場動態(tài)信息、航班動態(tài)信息、列車動態(tài)信息、地鐵信息以及交通咨詢在內(nèi)的出行前與出行途中的全程交通信息服務(wù),使用戶足不出戶即可了解城市交通動態(tài),科學(xué)規(guī)劃出行方案。
電子站牌:公交站臺電子站牌為乘坐公交出行的用戶提供交通相關(guān)信息,如公交車輛到站信息。
交通情報板:利用停車誘導(dǎo)屏等情報板為出行者提供停車誘導(dǎo)服務(wù)。
廣播電視:通過廣播電視節(jié)目為用戶播報綜合交通服務(wù)信息,如實時路況、航班動態(tài)等信息。
公共信息亭:綜合交通信息亭終端采用觸摸屏方式接受用戶的交互式操作,提供與Web網(wǎng)站類似的綜合交通信息服務(wù)。主要用戶是旅游出行人員和通過公共交通系統(tǒng)(如公路、鐵路和航空)出行的人員。
真三維動態(tài)導(dǎo)航與智能預(yù)警服務(wù):在智能交通導(dǎo)航中,將以真三維導(dǎo)航(高分辨率真實影像替代虛擬場景)替代傳統(tǒng)二維虛擬導(dǎo)航。三維導(dǎo)航地圖不是在二維導(dǎo)航地圖上的3D顯示,而是在獲取三維空間數(shù)據(jù)后,利用信息通信技術(shù)處理三維空間數(shù)據(jù),包容其他地理信息,可以突破常規(guī)二維表示對形式的束縛,更好地洞察和理解現(xiàn)實世界。真三維智能交通中,根據(jù)實地采集的實景資料,對色彩、材質(zhì)、燈光等細節(jié)進行處理,逼真地在導(dǎo)航儀上動態(tài)地再現(xiàn)三維道路實景。針對交通事故多發(fā)區(qū)域,比如十字路口或者拐彎區(qū)域,通過高清影像與幾何模型結(jié)合運算,計算出大車拐彎的死角范圍,并搜集車身長度和性能進行評價,將評價結(jié)果及時反饋給司機,將導(dǎo)航過程中經(jīng)常發(fā)生危險的區(qū)域在真三維實景導(dǎo)航中顯示并警示,有利于駕駛員安全駕駛,減少交通事故發(fā)生。
5.4其他應(yīng)用實例
(1)交通基礎(chǔ)設(shè)施數(shù)據(jù)提取及實時更新
利用快速更新的遙感影像來提取城市道路變化,并及時自動更新交通大數(shù)據(jù)中心的數(shù)據(jù)庫,可實現(xiàn)路網(wǎng)數(shù)據(jù)的實時更新,為用戶提供更準確的道路信息。過程如下:
通過高分辨率影像提取道路的路面、綠化帶、環(huán)島、大車拐彎死角帶等要素,通過航空影像和斜視影像,可以提取道路的路燈、井蓋、路牌等信息;
利用道路兩旁行道樹、植被指數(shù)、形狀指數(shù)和數(shù)學(xué)形態(tài)學(xué)知識來自動、半自動地提取道路線,并通過GIS進行道路面積的快速計算;
采用面向?qū)ο蟮倪b感影像的分類方法,對遙感影像進行分割,降低噪聲干擾,并得到同質(zhì)對象;
通過尺度選擇及轉(zhuǎn)換,構(gòu)建影像對象層次,充分認識不同道路特征,建立道路知識庫,進行道路信息提齲
(2)基于行車大數(shù)據(jù)的駕駛行為分析與預(yù)警
將收到的數(shù)據(jù)分組分類處理,可實現(xiàn)對移動車輛的全天候的實時監(jiān)控、報警、指揮與調(diào)度功能。通過電子地圖匹配GPS/中國北斗衛(wèi)星導(dǎo)航系統(tǒng)采集的車輛經(jīng)緯度、時間等信息,實時監(jiān)測車輛的運行位置和狀態(tài),并在GIS上顯示車輛軌跡,進行車輛的跟蹤;通過自動記錄、統(tǒng)計、分析車輛的歷史運行數(shù)據(jù),輔助管理人員制定管理決策。對海量行車數(shù)據(jù)及駕駛行為數(shù)據(jù)導(dǎo)入一些統(tǒng)計分析手段,可以有效對駕駛行為進行數(shù)據(jù)建模,通過駕駛員的出行習(xí)慣,從路線到行為,為該駕駛員提供一套評估,而此人的評估會被送往交通管理部門以及運輸企業(yè)等地方,從而應(yīng)用到各類行業(yè)中,如新車車主駕駛行為糾正系統(tǒng)、車主行車行為自診斷系統(tǒng)等。
(3)預(yù)測群體出行行為
結(jié)合交通大數(shù)據(jù),可以預(yù)測出群體出行的態(tài)勢,對其可能出行的時間、出行路線、出行方式等進行預(yù)測,從而為城市車輛調(diào)度提供決策幫助。反過來看,這些預(yù)測的群體出行行為數(shù)據(jù)也將為個人出行提供更加精確的服務(wù),幫助個人決策,讓個人出行盡量以最短的時間、最短的路線抵達目的地。
6結(jié)束語
遙感空間數(shù)據(jù)、交通視頻數(shù)據(jù)、各類感知數(shù)據(jù)、輿情數(shù)據(jù)等信息在城市交通系統(tǒng)是分散獲娶單獨使用的,總的來說,數(shù)據(jù)量巨大,但由于各方面數(shù)據(jù)應(yīng)用單一、不夠深化,不能夠充分挖掘數(shù)據(jù)的價值。在這些數(shù)據(jù)的基礎(chǔ)上,構(gòu)建城市智能交通大數(shù)據(jù)平臺,可從尺度、精度、時相等方面保障數(shù)據(jù)及時更新,能夠?qū)崿F(xiàn)更精細、及時的動態(tài)監(jiān)測服務(wù)數(shù)據(jù)體系。
城市智能交通大數(shù)據(jù)平臺基于云計算平臺和高速網(wǎng)絡(luò)傳輸,支撐移動互聯(lián)網(wǎng)時代的智能交通服務(wù),實現(xiàn)用戶移動終端數(shù)據(jù)采集、大數(shù)據(jù)分析挖掘、智能推送等信息實時高速傳輸;基于實時數(shù)據(jù)為用戶提供更精準的導(dǎo)航、停車服務(wù),實現(xiàn)新型的實時互聯(lián)交通服務(wù)模式。
展望未來,通過物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等技術(shù)手段,有望減少甚至消除城市交通原有的行政壁壘,實現(xiàn)城市交通各種大數(shù)據(jù)的全面采集和有機整合,在一個平臺上同時為政府各部門提供交通行政監(jiān)管服務(wù)、為企業(yè)和大眾提供交通信息服務(wù),從而可進一步提高城市交通的運營管理和綜合服務(wù)水平。
