提升交通管理能力數(shù)據(jù)策略論文

　　1、研究背景及意義

　　目前，“大數(shù)據(jù)”一詞成為熱點(diǎn)關(guān)鍵詞之一，預(yù)示著大數(shù)據(jù)時(shí)代的到來(lái)。大數(shù)據(jù)分析已經(jīng)不僅僅是信息革命的新階段，更關(guān)系到諸多實(shí)體企業(yè)在電子商務(wù)、公共服務(wù)及安全上的應(yīng)用，企業(yè)的發(fā)展革新已經(jīng)離不開大數(shù)據(jù)的應(yīng)用。如今，企業(yè)對(duì)于大數(shù)據(jù)已經(jīng)不再局限于了解大數(shù)據(jù)是什么階段，大數(shù)據(jù)已經(jīng)開始切實(shí)運(yùn)用于實(shí)際。云計(jì)算和大數(shù)據(jù)將攜手，共同掀起生產(chǎn)力大解放，與以蒸汽機(jī)的使用和電氣的使用為代表的第一次工業(yè)革命和第二次工業(yè)革命不同的是，這次是以數(shù)據(jù)為材料，計(jì)算為能源。未來(lái)國(guó)家的發(fā)展戰(zhàn)略將會(huì)以數(shù)據(jù)儲(chǔ)備及數(shù)據(jù)分析為核心。城市交通已面臨諸多嚴(yán)重問(wèn)題，必須采取更有效的措施，保證城市交通系統(tǒng)有效運(yùn)行。為了應(yīng)對(duì)城市交通運(yùn)行困境，第一屆智能交通大會(huì)于1994年在巴黎召開，從此，智能交通日益成為人們熱衷探討的話題，隨著時(shí)間流逝，智能交通研究與應(yīng)用在美、歐、日三國(guó)取得了長(zhǎng)足發(fā)展，這三個(gè)國(guó)家及地區(qū)也成為了世界智能交通研究應(yīng)用的主要基地。同時(shí)，一些發(fā)達(dá)國(guó)家及地區(qū)例如新加坡、香港、澳大利亞等在此方面的研究也取得了相當(dāng)?shù)某晒�。我�?guó)近年來(lái)也一直在充分利用物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)等技術(shù)，大力推進(jìn)我國(guó)交通運(yùn)輸領(lǐng)域的信息化。目前，云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)等新技術(shù)已被廣泛運(yùn)用到車路協(xié)同系統(tǒng)、公眾出行便捷服務(wù)、車聯(lián)網(wǎng)等領(lǐng)域的研究和實(shí)踐中。隨著大數(shù)據(jù)技術(shù)的廣泛研究及應(yīng)用，智能交通上已經(jīng)可以運(yùn)用大數(shù)據(jù)手段，對(duì)交通運(yùn)輸?shù)男枨筮M(jìn)行分析，得出精確的需求數(shù)據(jù)，在這樣的形勢(shì)之下，交通網(wǎng)絡(luò)優(yōu)化、智能化出行服務(wù)以及交通應(yīng)急保障等方面將形成巨大的市場(chǎng)，大數(shù)據(jù)技術(shù)將成為市場(chǎng)新趨勢(shì)。

　　2、研究?jī)?nèi)容

　　借助大數(shù)據(jù)技術(shù)，可以對(duì)多源、異構(gòu)、海量、時(shí)變的海量交通數(shù)據(jù)進(jìn)行分析和處理，挖掘其隱含的時(shí)空知識(shí)，為交通管理部門和出行者提供有利于公共系統(tǒng)調(diào)度和車主出行的決策信息，以便主動(dòng)干預(yù)各類可能的交通問(wèn)題，而不再被動(dòng)接受，主要內(nèi)容包括以下內(nèi)容。

　　2.1構(gòu)建交通大數(shù)據(jù)的時(shí)空模型，對(duì)交通流狀態(tài)分析和趨勢(shì)預(yù)測(cè)

　　利用聚類分析方法，構(gòu)建交通流大數(shù)據(jù)時(shí)空模型。利用對(duì)海量交通數(shù)據(jù)（包括靜態(tài)和動(dòng)態(tài)數(shù)據(jù)：交通基礎(chǔ)設(shè)施數(shù)據(jù)是相對(duì)靜態(tài)的，如橋梁、城市道路、立交、軌道網(wǎng)、停車場(chǎng)等。各類動(dòng)態(tài)交通運(yùn)行信息即為動(dòng)態(tài)交通數(shù)據(jù)，包括交通事故、施工占道、道路實(shí)時(shí)車速、流量、停車位使用等）。進(jìn)行空間聚類分析，根據(jù)道路節(jié)點(diǎn)收集的數(shù)據(jù)，將數(shù)據(jù)內(nèi)部隱含的信息特征找出來(lái)，將這些相似度高、關(guān)聯(lián)性大的數(shù)據(jù)聚合。運(yùn)用這一聚類分析方法，人們可以發(fā)現(xiàn)數(shù)據(jù)中交通網(wǎng)絡(luò)的分布模式，從數(shù)據(jù)結(jié)果出發(fā)，實(shí)現(xiàn)交通流狀態(tài)的分析及預(yù)測(cè)。道路網(wǎng)通達(dá)性對(duì)于交通流量序列有著極大影響，處于同一時(shí)空之內(nèi)的道路之間，必然存在時(shí)間差異關(guān)系極大的流量序列。所以，各個(gè)流量序列之間的時(shí)間相關(guān)性，可以通過(guò)空間權(quán)重矩陣和時(shí)間延遲做出明確的表達(dá)，按照相關(guān)系數(shù)，將預(yù)測(cè)相關(guān)因子選取出來(lái)，以多種算法模型為手段，對(duì)交通流趨勢(shì)進(jìn)行預(yù)測(cè)。

　　2.2基于交通流大數(shù)據(jù)時(shí)空模型，分析交通路網(wǎng)擁堵狀態(tài)的趨勢(shì)和成因

　　交通擁堵趨勢(shì)及成因可以通過(guò)分析擁堵狀態(tài)的數(shù)據(jù)、時(shí)空特征、語(yǔ)義，以時(shí)空關(guān)聯(lián)性為基本方法，采用時(shí)空關(guān)聯(lián)規(guī)則做出分析。在這一過(guò)程中，還應(yīng)該提高時(shí)空關(guān)聯(lián)規(guī)則的獲取效率，可以通過(guò)過(guò)濾無(wú)效數(shù)據(jù)，降低時(shí)間空間雜亂數(shù)據(jù)的干擾。按照這種思路，首先可以對(duì)頻繁項(xiàng)集產(chǎn)生過(guò)程中的時(shí)空數(shù)據(jù)進(jìn)行時(shí)間、空間段上的劃分，分析時(shí)間與空間的有效性及關(guān)聯(lián)性，在形成事務(wù)表之后，鏈接時(shí)空規(guī)則之間的項(xiàng)集，以擁堵狀態(tài)的時(shí)空關(guān)聯(lián)規(guī)則為基礎(chǔ)，分析交通網(wǎng)的擁堵趨勢(shì)。

　　2.3基于復(fù)雜網(wǎng)絡(luò)的各公共交通子網(wǎng)之間級(jí)聯(lián)關(guān)系的研究

　　公共交通是城市交通管理的主要對(duì)象，利用大數(shù)據(jù)手段分析公共交通數(shù)據(jù)（公交車、地鐵等數(shù)據(jù)），探尋交通運(yùn)行規(guī)律，研究各公共交通子網(wǎng)之間的級(jí)聯(lián)關(guān)系。

　　3關(guān)鍵問(wèn)題

　　3.1大數(shù)據(jù)平臺(tái)的搭建

　　交通信息數(shù)據(jù)具有海量異構(gòu)的特征，需要采用大數(shù)據(jù)手段、搭建大數(shù)據(jù)平臺(tái)，本項(xiàng)目擬搭建HADOOP大數(shù)據(jù)環(huán)境，既需要對(duì)HADOOP環(huán)境本身的調(diào)試和配置，也需要對(duì)海量異構(gòu)的交通數(shù)據(jù)進(jìn)行分類梳理。因此，搭建HADOOP大數(shù)據(jù)環(huán)境需要解決描述數(shù)據(jù)之間的連接關(guān)系及其相互影響，以及在分布式條件下數(shù)據(jù)的分類、聚合及其參數(shù)的設(shè)定。因此，解決了這一問(wèn)題，將為后續(xù)大數(shù)據(jù)算法模型的運(yùn)行提供基礎(chǔ)環(huán)境。

　　3.2多目標(biāo)多因素算法和模型建立和優(yōu)化方法

　　城市交通運(yùn)行特性異常復(fù)雜，尤其是在擁堵情況下，受到的約束條件更多（如地鐵客流、公交車客流等），因此，需要在課題建立的模型基礎(chǔ)上制定適應(yīng)多目標(biāo)多時(shí)間尺度的協(xié)調(diào)優(yōu)化方法。

　　3.3交通復(fù)雜網(wǎng)絡(luò)拓?fù)?/strong>

　　城市交通運(yùn)行涉及交通路網(wǎng)、地鐵、公交、出租等復(fù)雜數(shù)據(jù)，這些數(shù)據(jù)各自成網(wǎng)，又相互作用。因此，建立交通復(fù)雜網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，對(duì)模擬現(xiàn)實(shí)交通運(yùn)行狀況，探尋交通運(yùn)行規(guī)律至關(guān)重要。

　　4、研究步驟

　　可以采用理論分析、數(shù)值計(jì)算和試驗(yàn)相結(jié)合的方法，取得研究效果。

　　4.1清洗數(shù)據(jù)

　　交通數(shù)據(jù)的組成包括動(dòng)態(tài)數(shù)據(jù)以及基礎(chǔ)設(shè)施數(shù)據(jù)，運(yùn)用大數(shù)據(jù)手段來(lái)提升交通運(yùn)行效率，就要對(duì)數(shù)據(jù)進(jìn)行清洗。首先，動(dòng)態(tài)交通數(shù)據(jù)的采集可以通過(guò)移動(dòng)通信、視頻、波頻等方式進(jìn)行。例如，路口交通流量數(shù)據(jù)的收集，可以通過(guò)固定的視頻監(jiān)控、感應(yīng)線圈等方式進(jìn)行；車輛行駛軌跡以及車輛型號(hào)、流量、車速等信息可以采用RFID技術(shù)，從而獲得關(guān)鍵斷面的相關(guān)信息；車輛位置、速度、行程軌跡等信息可以通過(guò)GPS等移動(dòng)定位設(shè)備收集；此外，用戶線路、速度信息的收集還可以采用手機(jī)信令手段。動(dòng)態(tài)交通數(shù)據(jù)的收集離不開基礎(chǔ)設(shè)備，合理使用這些設(shè)備，可以將交通數(shù)據(jù)動(dòng)態(tài)表現(xiàn)出來(lái)，有著很強(qiáng)的優(yōu)越性，能夠?yàn)榻煌ㄟ\(yùn)行實(shí)時(shí)監(jiān)控以及動(dòng)態(tài)分析提供必要的數(shù)據(jù)基礎(chǔ)。但是，這些數(shù)據(jù)在收集過(guò)程中必然存在極大的復(fù)雜性，龐大的數(shù)據(jù)量以及噪聲數(shù)據(jù)會(huì)嚴(yán)重影響到數(shù)據(jù)質(zhì)量，直接收集的數(shù)據(jù)必然無(wú)法為交通數(shù)據(jù)分析的數(shù)據(jù)基礎(chǔ)，因此，有必要對(duì)這些直接數(shù)據(jù)進(jìn)行清洗，清洗方法主要有以下幾種：①數(shù)據(jù)清洗首先要確定干擾在哪里，干擾作用的地方。團(tuán)隊(duì)可以運(yùn)用已有的大數(shù)據(jù)分析方法，對(duì)交通基礎(chǔ)數(shù)據(jù)做出針對(duì)性分析，基于數(shù)據(jù)屬性以及分析目的，從數(shù)據(jù)中獲取需要的元數(shù)據(jù)，找出質(zhì)量問(wèn)題。②數(shù)據(jù)清洗需要以規(guī)范的手段為保障，進(jìn)行數(shù)據(jù)清洗必須定義清洗轉(zhuǎn)換規(guī)則。通過(guò)上一步工作，團(tuán)隊(duì)可以獲得相應(yīng)的元數(shù)據(jù)，獲得存在的質(zhì)量問(wèn)題，針對(duì)這些問(wèn)題，團(tuán)隊(duì)可以定義轉(zhuǎn)換規(guī)則以及工作流。③在數(shù)據(jù)收集之后，要對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，從而獲得標(biāo)準(zhǔn)化的直觀數(shù)據(jù)�？梢赃\(yùn)用統(tǒng)計(jì)方法、聚類方法、關(guān)聯(lián)規(guī)則等。④用清洗數(shù)據(jù)替換源數(shù)據(jù)。

　　4.2提取并分析數(shù)據(jù)

　　要對(duì)動(dòng)態(tài)交通流以及交通網(wǎng)絡(luò)擁堵狀況進(jìn)行分析，必須對(duì)交通數(shù)據(jù)進(jìn)行有效組織，然后對(duì)交通數(shù)據(jù)進(jìn)行提取分析。首先，數(shù)據(jù)分析應(yīng)該以交管部門以及用戶需求為出發(fā)點(diǎn)，且工作必須具有相當(dāng)時(shí)效性。在這一過(guò)程中，工作團(tuán)隊(duì)可以將交通流以及擁堵狀態(tài)為工作導(dǎo)向，結(jié)合數(shù)據(jù)的時(shí)空特征，運(yùn)用聚類、預(yù)測(cè)、異常檢測(cè)等方法，深入分析數(shù)據(jù)之間的關(guān)聯(lián)性，實(shí)現(xiàn)多維度、多粒度特征分析，最后運(yùn)用降維技術(shù)進(jìn)行數(shù)據(jù)處理。

　　4.3基于大數(shù)據(jù)分析的智能交通模型

　　4.3.1預(yù)測(cè)模型1（L1正則化模型）

　　對(duì)線性回歸進(jìn)行1范數(shù)的正則化，在經(jīng)驗(yàn)風(fēng)險(xiǎn)上加上一個(gè)正則化項(xiàng)（regularizer）或罰項(xiàng)（penaltyterm）。正則化一般是模型復(fù)雜度的單調(diào)遞增函數(shù)，模型越復(fù)雜，正則化值就越大。比如，正則化項(xiàng)可以是模型參數(shù)向量的范數(shù)。正則化一般具有如下形式：min1Ni=1NL(yi,fxi+λJ(f))其中，第1項(xiàng)是經(jīng)驗(yàn)風(fēng)險(xiǎn)，第二項(xiàng)是正則化項(xiàng)，λ≥0是為調(diào)整兩者之間關(guān)系的系數(shù)�；貧w問(wèn)題中，損失函數(shù)是平方損失，正則化項(xiàng)可以是參數(shù)向量L1范數(shù)：L(w)=1Ni=1N(fxi;w-yi)2+λw1這里，w1表示參數(shù)向量w的L1范數(shù)。第1項(xiàng)的經(jīng)驗(yàn)風(fēng)險(xiǎn)較小的模型可能較復(fù)雜（有多個(gè)非零參數(shù)），這時(shí)，第2項(xiàng)的模型復(fù)雜度會(huì)較大。正則化的作用是選擇經(jīng)驗(yàn)風(fēng)險(xiǎn)與模型復(fù)雜度同時(shí)較小的模型。

　　4.3.2預(yù)測(cè)模型2（L2正則化模型）

　　對(duì)線性回歸進(jìn)行L2正則化。正則化一般具有如下形式：min1Ni=1NL(yi,fxi+λJ(f))其中，第1項(xiàng)是經(jīng)驗(yàn)風(fēng)險(xiǎn)，第二項(xiàng)是正則化項(xiàng)，λ≥0是為調(diào)整兩者之間關(guān)系的系數(shù)。回歸問(wèn)題中，損失函數(shù)是平方損失，正則化項(xiàng)可以是參數(shù)向量L2范數(shù)：L(w)=1Ni=1N(fxi;w-yi)2+λw2其中，w2表示參數(shù)向量w的L2范數(shù)。

　　4.3.3預(yù)測(cè)模型3（M5P模型）

　　M5P模型，是指利用系統(tǒng)變量分析特定變量值的預(yù)測(cè)模型，這種模型所運(yùn)用的思想主要為決策樹思想。首先，工作者需要將變量分布的特征分析出來(lái)，按照變量分布特征，將樣本空間劃分為平行的長(zhǎng)方形區(qū)域，然后利用剪枝、平滑的方法，將每一個(gè)分區(qū)確立對(duì)應(yīng)的回歸模型，這樣按照不同數(shù)據(jù)特征建立的模型合理性將更大。在這個(gè)模型中，決策樹構(gòu)建的思想十分直接，只需按照決策樹生成算法構(gòu)建樹，然后以最大化信息增益為節(jié)點(diǎn)分支準(zhǔn)則即可。在M5P之中，由于模型使用的是最小化子集屬性差異，因此引入剪枝策略，剪枝策略包括構(gòu)造時(shí)的預(yù)剪枝、構(gòu)造后的后剪枝。一般情況之下，預(yù)剪枝一般在最小樣本數(shù)上進(jìn)行，后剪枝一般在估計(jì)誤差置信水平上進(jìn)行。特殊的，如果存在節(jié)點(diǎn)子樹性能低于內(nèi)部節(jié)點(diǎn)性能的情況，可以講內(nèi)部節(jié)點(diǎn)轉(zhuǎn)換為葉節(jié)點(diǎn)。決策樹的分類一般分為兩個(gè)步驟。①數(shù)據(jù)中知識(shí)獲取，進(jìn)行機(jī)器學(xué)習(xí)，這個(gè)過(guò)程就是決策樹模型建立，一般以訓(xùn)練集為基礎(chǔ)。②利用已經(jīng)生成的決策樹，對(duì)數(shù)據(jù)進(jìn)行分類。這種分類應(yīng)該首先龔根節(jié)點(diǎn)開始，應(yīng)該對(duì)數(shù)據(jù)對(duì)象的屬性進(jìn)行逐步測(cè)試，測(cè)算得出相應(yīng)的值，然后按照決策樹分支往下走，以葉節(jié)點(diǎn)為終點(diǎn)，形成相應(yīng)分類。值得注意的是，在對(duì)給定數(shù)據(jù)集進(jìn)行計(jì)算時(shí)，普通典型的線性回歸算法只能給出單一的回歸等式，無(wú)法將樣本空間劃分為平行空間，無(wú)法確定相應(yīng)空間回歸模型，在這種情況之下，工作者就可以采用決策樹方法。本研究將原始樣本按8:2的比例分別劃分為訓(xùn)練集、測(cè)試集，并對(duì)全體樣本利用上述預(yù)測(cè)模型進(jìn)行多時(shí)段的預(yù)測(cè)，然后對(duì)比預(yù)測(cè)效果。

　　4.4模型評(píng)估

　　在本文中，給出方案的評(píng)價(jià)指標(biāo)采用預(yù)測(cè)準(zhǔn)確度，在這里，我們可以引用平均絕對(duì)誤差（MeanAbsoluteError，簡(jiǎn)稱MAE），以此將預(yù)測(cè)與實(shí)際流量之間的相似度表示出來(lái)。其中C代表預(yù)測(cè)次數(shù)、預(yù)測(cè)流量、實(shí)際流量。采用MAE有兩個(gè)優(yōu)點(diǎn)：①這一方法的計(jì)算方法較為簡(jiǎn)單，且計(jì)算結(jié)果便于理解；②由于在計(jì)算中，絕對(duì)平均誤差的值是唯一的，系統(tǒng)之間不存在多個(gè)誤差值，因此，這種方式能夠很好地區(qū)分系統(tǒng)絕對(duì)平均誤差的差異。

　　4.5基于復(fù)雜網(wǎng)絡(luò)理論研究各公共交通子網(wǎng)級(jí)聯(lián)關(guān)系

　　基于復(fù)雜網(wǎng)絡(luò)理論分析各公共交通子網(wǎng)的運(yùn)行規(guī)律和機(jī)理。在此基礎(chǔ)上，研究各公共子網(wǎng)之間的級(jí)聯(lián)關(guān)系，探究各子網(wǎng)之間的相關(guān)關(guān)系和影響機(jī)理。

　　作者：李曉 單位：成都師范學(xué)院