李嬋

　　伴隨著城市化進(jìn)程的不斷加快和城市經(jīng)濟(jì)的高速增長，以及人們安全意識的不斷提高，對視頻監(jiān)控的需求越來越強(qiáng)烈，其應(yīng)用場景和使用環(huán)境也越來越豐富。不同的場景需求對視頻監(jiān)控技術(shù)提出了更高更復(fù)雜的要求，不僅僅要高清，更要智能。顯然已經(jīng)從過去的“看得見”、“看得清”到如今的“更好看”、“更易看”。

“更好看”——對視頻圖像處理技術(shù)的更高要求

　　就像對手機(jī)拍照像素需求的與日俱增一樣，人們現(xiàn)今已經(jīng)很難再接受分辨率低、噪聲大、動態(tài)范圍低的視頻圖像了。這不僅要求安防企業(yè)在光學(xué)部件的選擇上不斷追求更高的品質(zhì)，在視頻圖像處理技術(shù)上更是不能落后。目前主流的視頻圖像處理技術(shù)都在與時俱進(jìn)，以滿足用戶不斷變化的需求，這里介紹一下當(dāng)今比較熱門、比較前沿的圖像處理技術(shù)的發(fā)展情況。

低照技術(shù)示意圖

一、低照技術(shù)

　　這只是一個很籠統(tǒng)的稱呼，對低照表現(xiàn)的要求是指在缺少光照的環(huán)境條件下仍然能展現(xiàn)出清晰明亮、色彩豐富、較低噪聲的視頻圖像，宇視星光級相機(jī)就是在這種需求下應(yīng)運(yùn)而生的。該技術(shù)不僅對傳感器、鏡頭的品質(zhì)有很高的要求，還涵蓋了ISP（圖像信號處理）中的夜間圖像增強(qiáng)、2D 降噪、3D 降噪等技術(shù)， 同時如何權(quán)衡以上功能，以得到最優(yōu)質(zhì)的畫面表現(xiàn)，也是對ISP 調(diào)校技術(shù)的考驗(yàn)。

二、寬動態(tài)技術(shù)

　　寬動態(tài)技術(shù)可以分為數(shù)字寬動態(tài)和多幀寬動態(tài)兩種。數(shù)字寬動態(tài)是指，對單幀圖像利用色調(diào)映射技術(shù)使得畫面的暗區(qū)和亮區(qū)同時能夠看清，即增大圖像動態(tài)范圍。而多幀寬動態(tài)則是通過對同一場景獲取多幀曝光程度不同的圖像，然后利用圖像融合和運(yùn)動估計技術(shù)，將多幀畫面合成一幅，以達(dá)到同樣的目的。由于多幀寬動態(tài)獲得的信息較單幀多，因此通常情況下可以獲得更大的動態(tài)范圍，和更自然的視覺感觀。

數(shù)字寬動態(tài)處理前（左）和處理后對比

多幀寬動態(tài)處理前（左）和處理后對比

三、去模糊技術(shù)

　　品質(zhì)再高清的相機(jī)，也可能由于人為拍攝的原因或者被拍攝物體本身的運(yùn)動而導(dǎo)致模糊，分為失焦模糊和運(yùn)動模糊兩種情況。模糊本身在數(shù)學(xué)上來說，是清晰圖像與擴(kuò)散函數(shù)卷積的結(jié)果，因此去模糊就是一個逆卷積的過程，失焦模糊和運(yùn)動模糊的主要差別是擴(kuò)散函數(shù)形式上的差異。

失焦模糊處理前（左）和處理后對比

運(yùn)動模糊處理前（左）和處理后對比

四、透霧增強(qiáng)技術(shù)

　　視頻圖像透霧增強(qiáng)技術(shù)，一般指將因霧氣、水氣和灰塵等導(dǎo)致畫面朦朧不清的因素去除，使畫面重新變得清晰通透，恢復(fù)原有的色調(diào)、飽和度，獲得了良好的圖像質(zhì)量與視覺感受。宇視的透霧技術(shù)，已不再局限于簡單的對比度增強(qiáng)而已，而是通過對霧霾濃度建模，獲得大氣分布情況，進(jìn)而有針對性的去除，保持畫面自然，并且不會丟失任何有用信息。

基于大氣模型的透霧技術(shù)與對比度增強(qiáng)技術(shù)對比示意圖

　　另外值得一提的是，與利用圖像處理算法進(jìn)行透霧增強(qiáng)技術(shù)各有所長的，還有宇視的光學(xué)透霧技術(shù)。其原理主要是利用近紅外波段對大氣的穿透性要優(yōu)于可見光波段，因而能在濃霧霾情況下，獲得可見光圖像所獲取不到的信息。

光學(xué)透霧處理前（左）和處理后對比

五、超分辨率重建技術(shù)

　　提高圖像分辨率最直接的辦法就是提高采集設(shè)備的傳感器密度，然而高密度的圖像傳感器價格相對昂貴，在一般的應(yīng)用中難以承受，同時傳感器陣列密度目前也已接近極限。解決這一問題的有效途徑是采用基于信號處理的軟件方法對圖像的空間分辨率進(jìn)行提高，超分辨率重建技術(shù)可以分為單幀超分辨率重建和多幀超分辨率重建。單幀超分辨率通常是利用學(xué)習(xí)的方法對低分辨率圖像進(jìn)行恢復(fù)；多幀超分辨率的核心思想是用時間帶寬（獲取同一場景的多幀圖像序列）換取空間分辨率，實(shí)現(xiàn)時間分辨率向空間分辨率的轉(zhuǎn)換。

“更易看”——減少使用者的工作量，智能必不可少

　　近幾年來隨著監(jiān)控行業(yè)的發(fā)展以及平安城市等大型工程的建設(shè)， 成千上萬的視頻圖像給廣大工作人員帶來無力管理和監(jiān)看等問題。應(yīng)用智能分析技術(shù)對視頻畫面中的海量數(shù)據(jù)進(jìn)行高速分析， 過濾掉用戶不關(guān)心的信息， 僅僅為監(jiān)控者提供有用的關(guān)鍵信息， 從而解決了視頻量大工作人員無力監(jiān)管等問題， 因此受到越來越多的關(guān)注。

　　目前國內(nèi)智能分析技術(shù)已經(jīng)不再局限于檢測和識別，還逐漸發(fā)展為跟蹤預(yù)測、行為分析等眾多應(yīng)用。檢測是指通過前景提取等方法對畫面中物體的移動進(jìn)行檢測，通過設(shè)定規(guī)則來區(qū)分不同的行為，例如拌線、周界等；識別是指利用模式識別技術(shù)對畫面中所需要監(jiān)控的物體進(jìn)行針對性的建模，從而達(dá)到對視頻中的特定物體進(jìn)行檢測、識別、分類等相關(guān)應(yīng)用，例如智能檢測與識別、車型識別等；跟蹤是指對識別到的特定物體的運(yùn)動軌跡進(jìn)行跟蹤預(yù)測，在視頻圖像序列中表示感興趣的物體或者將不同時間序列中出現(xiàn)的物體濃縮進(jìn)短短幾分鐘的畫面，例如視頻濃縮、摘要等；行為分析是指對運(yùn)動物體的行為進(jìn)行判斷，并在使用者設(shè)定的條件下進(jìn)行自動告警與記錄，如離崗、徘徊、打架斗毆以及表情分析等。

　　智能處理的壓力通常集中在性能上，如何在有限的服務(wù)器資源上同時滿足更多路智能分析的需求，是除了算法效果以外開發(fā)者需要關(guān)注的另一個重要問題。目前越來越多的高速處理器得到普及，除了DSP 以外，GPU 和FPGA 的主流廠家如Intel、Nvidia、AMD、Altera 等紛紛推出基于OpenCL 平臺的通用計算開發(fā)，宇視也基于GPU 和FPGA 進(jìn)行了一系列的智能分析算法的優(yōu)化加速。

GPU 與CPU 的差別在于更少的邏輯控制單元和更多的算術(shù)運(yùn)算單元。由于GPU在邏輯判斷方面的弱勢，導(dǎo)致其通常不會用作主控芯片，而是與CPU 配合使用，處理大量數(shù)據(jù)計算問題。而針對數(shù)據(jù)交互的瓶頸問題， 各大廠家也各自開發(fā)出unifymemor y 等解決方案，減少數(shù)據(jù)拷貝。

GPU 與CPU 資源對比

按應(yīng)用類型可以分：

　　控制密集型（Control Int ensive），例如searching、parsing 等等，適合于CPU 的任務(wù)并行處理。數(shù)據(jù)密集型（Data Intensive），例如圖像處理、數(shù)據(jù)挖掘等等，適合于GPU 的數(shù)據(jù)并行處理。

　　計算密集型（Compute Int ensive），例如迭代操作、金融建模等等， 適合于FPGA 的流水線并行處理。

　　GPU 的單指令多數(shù)據(jù)并行（SIMDParallelism）工作方式和FPGA 的流水線并行（Pipeline Parallelism） 工作方式對比如下圖10 所示。GPU 是硬件固定的（fixed hardware）， 同一個處理單元在每個時鐘周期可以加載不同的指令，但是在每個時鐘周期都是處理的同一條指令，并且無論處理何種指令，都必然占用一整個流處理器的資源（包括指令發(fā)射器、寄存器等）；而FPGA 相當(dāng)于是指令固定的（fixed instructions），每個時鐘周期數(shù)據(jù)流水似的經(jīng)過不同的處理，這在運(yùn)行過程中不會發(fā)生變化，而不同的操作會消耗不同的資源，這在關(guān)注Performance PerWatt 時可能會有更好的表現(xiàn)。

　　另外一個重要的差別是遇到分支時，盡管GPU 和FPGA 都不像CPU 那樣善于處理分支，它們會把分支都進(jìn)行處理，但二者的做法也很不一樣。GPU 由于為單指令多數(shù)據(jù)操作，只能通過時間上的“堆疊”，一條分支一條分支的處理，這種情況下GPU 的效率明顯降低； 而FPGA 可以通過硬件的“堆疊”來同時處理多個分支，當(dāng)然需要以犧牲資源為代價，如下圖11 所示。

SIMD 并行與流水線并行對比

SIMD 并行和流水線并行分支行為的對比

總結(jié)——展望：萬物聯(lián)網(wǎng)

　　視頻圖像處理技術(shù)未來的發(fā)展趨勢，絕對不僅僅是局限在技術(shù)本身而已。如何與其他技術(shù)結(jié)合、融合，來創(chuàng)造出更靈活、更人性化的應(yīng)用，適應(yīng)物聯(lián)網(wǎng)浪潮的發(fā)展，才是未來值得關(guān)注的方向。