- 相關(guān)推薦
基于全局運(yùn)動(dòng)估計(jì)的視頻圖像拼接在監(jiān)控系統(tǒng)中的應(yīng)用
摘要:文章通過(guò)云臺(tái)控制攝像頭拍攝的序列圖像實(shí)現(xiàn)實(shí)時(shí)的全景視圖拼接,利用金字塔分層的塊匹配方式以及參數(shù)仿射模型,快速、精確地估算各幀之間的運(yùn)動(dòng)參數(shù),實(shí)現(xiàn)了多幀圖像的自動(dòng)拼接,達(dá)到了實(shí)時(shí)擴(kuò)大視頻監(jiān)控范圍和視野的目的。關(guān)鍵詞:視頻監(jiān)控 全局運(yùn)動(dòng)估計(jì) 6參數(shù)仿射模型 全景圖
l引言
全景視圖在諸多領(lǐng)域有著非常廣泛的應(yīng)用,在虛擬現(xiàn)實(shí)中,它是一種重要的場(chǎng)景表示方式。在MPEG中的動(dòng)態(tài)Sprite編碼通過(guò)對(duì)視頻序列進(jìn)行全局運(yùn)動(dòng)估計(jì),可重構(gòu)背景的全景視圖。在基于內(nèi)容的視頻檢索中,用全景圖表示一段視頻,極大地壓縮了視頻數(shù)據(jù)量。本文結(jié)合上述文中提到的全景圖的優(yōu)點(diǎn),提出了一種應(yīng)用在視頻監(jiān)控中的全景圖拼接方法。通過(guò)云臺(tái)控制攝像頭左右往返運(yùn)動(dòng)實(shí)現(xiàn)實(shí)時(shí)的視頻序列圖像拼接,攝像頭所拍攝的幀之間的轉(zhuǎn)角和重疊區(qū)域并沒有嚴(yán)格限制,利用全局運(yùn)動(dòng)估計(jì)方法,估算幀間運(yùn)動(dòng)參數(shù),實(shí)現(xiàn)多圖像的拼接融合,有效地?cái)U(kuò)大了監(jiān)視范圍和視野。
2全景圖生成思路
用攝像機(jī)采集得到一系列圖像,將首幀做為基準(zhǔn)全景圖,將下一幀與已有全景圖做全局運(yùn)動(dòng)估計(jì),得到該幀的運(yùn)動(dòng)參數(shù),根據(jù)此參數(shù)對(duì)當(dāng)前幀進(jìn)行變換,然后將該幀變形圖與已有的全景圖進(jìn)行拼接融合,重復(fù)上述步驟,即可生成該視頻序列的全景圖。其中,為了節(jié)約運(yùn)行時(shí)間,保存每一幀的變形圖,當(dāng)讀人一幀圖像時(shí),將當(dāng)前幀與前一幀的變形圖做全局運(yùn)動(dòng)估計(jì),這樣得出的運(yùn)動(dòng)參數(shù)和每次與已有全景圖做運(yùn)動(dòng)估計(jì)得到的參數(shù)是一致的,并且由于單幀變形圖所占空間小,使得運(yùn)算速度得以提高。
3全局運(yùn)動(dòng)估計(jì)
3.1全局運(yùn)動(dòng)的仿射模型
幀間全局運(yùn)動(dòng)分析是一種基于模型的運(yùn)動(dòng)分析方法,在這里宜采用6參數(shù)的仿射模型來(lái)估算幀間的運(yùn)動(dòng)關(guān)系。該模型可描述圖像的平移、縮放、旋轉(zhuǎn)、仿射等線性變換:
x'=ax by c
y'=dx ey f(1)
其中(w)代表k幀中像素的坐標(biāo),(x',y')代表k l幀中像素的坐標(biāo),在該模型下定義參數(shù)矢量,其中分量e、f與平移運(yùn)動(dòng)有關(guān),分量a、b、c、d與放縮、旋轉(zhuǎn)運(yùn)動(dòng)有關(guān)。
3.2參數(shù)矢量估計(jì)
要估計(jì)仿射模型的6個(gè)參數(shù),至少必須獲得3 個(gè)非共線位置的運(yùn)動(dòng)矢量數(shù)據(jù)。通常情況下,可由塊匹西法、光流分析等方法來(lái)進(jìn)行。本文采用可以適應(yīng)較大缶移矢量塊匹配法來(lái)進(jìn)行參數(shù)估計(jì)。將圖像分為16xl6一共n小塊,求出各個(gè)小塊在上一幀的位移矢量,根據(jù)(1).有
其中i為每個(gè)小塊的編號(hào),axi、ayj為幀小塊中心點(diǎn)對(duì)應(yīng)與上一幀在x,y方向上的運(yùn)動(dòng)矢量。
此時(shí)定義能量函數(shù)pi,p’:
使得p,、p,,取得最小值,其中n表示塊匹配中的分塊數(shù)。
利用最小二乘法求解式(2)、(3),使
可得到一組線性方程:
求解線性方程,即可得到參數(shù)矢量p。
3.3分層運(yùn)動(dòng)矢量估計(jì)
由于塊匹配計(jì)算量較大,故本文采用金字塔分層的塊匹配技術(shù)進(jìn)行幀間運(yùn)動(dòng)估計(jì),以提高運(yùn)算速度,具體算法如下:
首先,將圖像分為三層,最底層為原始圖像,中間層為原始圖像經(jīng)過(guò)2:l的采樣,大小變?yōu)榈讓訄D像1/4大小(長(zhǎng)、寬都減少一半),最上層則為底層圖像1/16大小。這樣處理的好處是提高了后續(xù)運(yùn)算的速度,且經(jīng)過(guò)兩次濾波有效消除了高頻噪聲對(duì)運(yùn)動(dòng)估計(jì)的影響。
通過(guò)計(jì)算最上層圖像的塊運(yùn)動(dòng)矢量,利用最小二乘估計(jì)法估算運(yùn)動(dòng)參數(shù),由于塊匹配在有運(yùn)動(dòng)前景或者紋理不明顯的區(qū)域計(jì)算時(shí)不夠精確,故需要進(jìn)行錯(cuò)誤匹配點(diǎn)的剔除。計(jì)算所有運(yùn)動(dòng)矢量與用運(yùn)動(dòng)參數(shù)恢復(fù)出的運(yùn)動(dòng)矢量的平均誤差:
其中,Axi、△yi為第i小塊經(jīng)過(guò)塊匹配計(jì)算出的運(yùn)動(dòng)矢量,,為用運(yùn)動(dòng)參數(shù)恢復(fù)出的運(yùn)動(dòng)矢量。
剔除塊匹配運(yùn)動(dòng)矢量中所有平均誤差值大于此平均誤差的矢量,用更新的運(yùn)動(dòng)矢量集合再次進(jìn)行參數(shù)估計(jì)。
再將最上層用參數(shù)估計(jì)恢復(fù)出的運(yùn)動(dòng)矢量擴(kuò)大一倍,作為第二層的運(yùn)動(dòng)矢量初始值,重復(fù)與最上層計(jì)算運(yùn)動(dòng)矢量相同的步驟,直至計(jì)算出圖像最底層的運(yùn)動(dòng)參數(shù)。
所示見圖l為一段720x576大小的視頻序列中利用16x16的塊匹配在某幀最上層圖像上求出的相對(duì)其上一幀的運(yùn)動(dòng)矢量。
其中,白線表示迭代運(yùn)算后的運(yùn)動(dòng)矢量,而黑線則麥?zhǔn)菊`差計(jì)算后,被剔除的運(yùn)動(dòng)矢量。
4圖像拼接
確定了兩副待拼接圖像之間的變換關(guān)系,即可確定兩圖像的重疊部分。但由于兩圖像之間的光線強(qiáng)度差異,以及直接拼接造成明顯的拼接痕跡等原因使拼接效果受到影響,故拼接時(shí)還需做如下處理:
4.1均衡光差
在圖像間的重疊區(qū)域確定后,分別計(jì)算兩圖像在重疊區(qū)域的光照強(qiáng)度,將所有點(diǎn)的光強(qiáng)值相加,然后將兩個(gè)累加值相除得到光照強(qiáng)度的比例,然后照此比例,將光照強(qiáng)度較強(qiáng)的圖像亮度降低。如圖所示見圖2兩幀圖像在均衡光差前后的拼
【基于全局運(yùn)動(dòng)估計(jì)的視頻圖像拼接在監(jiān)控系統(tǒng)中的應(yīng)用】相關(guān)文章:
基于SOPC的遠(yuǎn)程視頻圖像監(jiān)控系統(tǒng)的設(shè)計(jì)03-07
OSD技術(shù)在ATM數(shù)字視頻監(jiān)控系統(tǒng)中的應(yīng)用03-18
基于ADSL傳輸?shù)木W(wǎng)絡(luò)視頻應(yīng)用系統(tǒng)03-18
VHDL在高速圖像采集系統(tǒng)中的應(yīng)用設(shè)計(jì)03-18
凌華圖像運(yùn)動(dòng)控制卡基于PC的目標(biāo)追蹤系統(tǒng)的應(yīng)用03-18
視頻監(jiān)控系統(tǒng)中的字符疊加設(shè)計(jì)03-18
基于H.264標(biāo)準(zhǔn)的船舶機(jī)艙視頻監(jiān)控系統(tǒng)03-07