隨著平安校園建設的展開,視頻監控系統基本上在每個校園都得到了不同程度的應用。視頻監控系統作為人類視覺在空間和時間上的延伸,實際上有兩大功能需求:實時的看和控是視覺在空間上的延伸,錄像的存和查則是視覺在時間上的延伸。因此監控錄像的存儲、檢索和回放,在校園視頻監控系統的建設和使用中,占據著舉足輕重的地位。
集中存儲已成大勢所趨
在早期的平安校園建設中,DVR 發揮了重要的作用,但是隨著技術的發展,應用的擴展,分散部署的DVR 已經越來越不能滿足現在的平安校園建設的需求。
首先是過于分散的存儲對于存儲數據的統一管理與利用帶來較大的障礙;其次由于DVR作為非專業存儲設備,在從使用硬盤的專業性和存儲可靠性保證措施(包括RAID,部件冗余)上來看,較之專業存儲設備還有很大差距;而DVR 最大的優勢就是本地存儲能夠大量的節約存儲帶寬,但是這一點在校園網帶寬資源相對豐富的學校來說,就沒有太大的優勢了。
特別是DVR 或者是盒式NVR 設備,實時查看和存儲回放都在同一臺設備上完成,一線安保值班人員能夠很方便的接觸到歷史錄像,對于一些敏感區域——如學生宿舍等,數據安全性就不能得到很好的保證。
在網絡技術的不斷帶動下,端到端的帶寬成倍增長,不斷增長的視頻數據在帶來海量視頻存儲需求的同時對集中存儲也提出了新的技術述求和挑戰:
■如何實現存儲容量的平滑擴展?
■如何有效的降低由此帶來的存儲成本?
■如何更可靠地保存、更安全地使用和更便捷地分享這些數據?
■如何解決越來越龐大的系統給維護管理帶來的困擾?
傳統以IPSAN 方式為主的集中存儲技術不能較好的解決如上幾個問題,核心問題在“虛擬化”和“共享”這兩個命題。以集中IPSAN存儲為基礎,圍繞“虛擬化”和“共享”兩大核心技術為中心的視頻監控的云存儲技術完全符合平安校園建設的需求,能實現基于錄像的平滑伸縮、便捷的數據分享、簡單的維護工作能解決平安校園的建設以來遇到的各種問題。
文件存儲的弊端及其解決
談及云存儲,業界主流也是以分布式文件系統為代表的云存儲技術。“文件存儲”和“分布式”是傳統云存儲核心。文件存儲不適合大規模的視頻業務。
存儲設備或者是數據存儲應用在校園有非常廣泛的使用,大都是采用文件或者是數據庫等結構化的數據形式,但是監控視頻存儲采用傳統的文件形式并不是很合適的。因為采用文件形式對視頻數據進行存儲,只是把DVR 的存儲模式簡單的移植到了專業的存儲設備上來,DVR 受限于較低的處理能力,為了便于對本來就不多的錄像數據進行管理,自然而然的就采用了性能效率都不太高但是消耗處理資源很少的文件系統,這樣一般的監控廠家就一脈相承的把文件存儲方式轉移到了集中存儲中來了。
為什么說文件存儲方式不適合監控視頻存儲呢?這是由監控視頻的特點決定的,與傳統的文檔數據、數據庫數據不同,監控視頻沒頭沒尾,隨時間的延續線性增長,屬于非結構性數據,以流的模式存在。非要把一道流切片成一個一個的文件形式,會帶來這樣那樣的問題。
首先就是容易形成圖像丟失,假設以5 分鐘的圖像為一個文件,那么假如當存儲到2 分鐘的時候,系統發生故障,已經存入的2 分鐘歷史圖像由于并沒有形成一個完整的文件(還需要3 分鐘的圖像存儲才能形成一個完整文件),并沒有存入存儲設備中去,這樣就丟失了2 分鐘的歷史圖像,往往是這2 分鐘內發生的事件導致了故障的發生,卻沒有記錄下來,這是監控系統無法容忍的。與此同時還有當前錄像的查詢問題,如果需要馬上知道當前時間前一瞬間發生了什么事件,但是由于沒有達到文件形成的時間長度,所以無法立即查看當前錄像。解決這類問題的直接方法是縮短文件的時間段,比如1 分鐘一個文件,甚至半分鐘、15 秒一個文件,這樣就會帶來另外一個問題,形成大量的磁盤碎片,浪費大量的空間——我們知道PC 機中的小文件越多,空間浪費就越嚴重。而且在調用存儲錄像的時候,需要頻繁的打開關閉文件,降低了讀取效率,寫入也存在同樣的效率問題。
那么作為非結構化數據的監控視頻,我們把它進行純粹的非結構化存儲——就像傳統錄像帶存儲一樣,用流的方式進行記錄——怎么樣呢?這樣又會帶來檢索的問題,如果以流的方式存儲,那么磁盤空間就無法索引,只能通過時間進行線性檢索。如果是磁帶存儲,那這樣做是唯一的方法,而磁盤是可以通過“磁盤、磁道、簇”進行三維檢索的,通過時間來進行線性檢索就極大地降低了檢索效率,浪費了資源。
基于“塊”格式的視頻云存儲模式有效的解決了上述兩難問題,實現了非結構化數據的結構化存儲。即以非常微小的裸數據塊的形式存儲監控視頻數據,就如同物理上的“波粒二象性”一樣,從宏觀上看,視頻是以流的模式存儲的,提高了讀寫效率,提升了視頻存儲的可靠性;從微觀上看,視頻又是被分割成一個一個的數據塊,便于建立索引,提高檢索效率,提升檢索精度,這也是能夠實現秒級檢索、即時回放的技術基礎。
基于“塊”的視頻云存儲的分布式的架構對內能講所有存儲資源進行整合,虛擬存儲資源池,解決存儲容量變大或縮小的需求;對外能提供統一的訪問模式和接口,更可靠地保存、更安全地使用和更便捷地分享這些數據。在數據容錯上,可以通過扇區、磁盤、設備、RAID、糾刪碼 五個層次解決數據容錯的問題,大大減少單點故障導致的業務停滯或數據丟失的問題。
硬盤的應用
學校,特別是高校,也許是各個行業中硬盤密度最高的行業之一,從師生個人PC 上的桌面級硬盤,到各院系保衛處的監控級硬盤,再到教學科研數據中心的企業級硬盤,那么監控視頻數據的存儲究竟該用什么樣的硬盤呢?對于監控錄像的存儲來說,桌面級硬盤自然是不可用的,因為桌面級硬盤的工作時間是7×8 小時,而監控錄像的存儲則必須是7×24 小時的。這樣在采用桌面級硬盤實現存儲的時候,剛開始的時候系統是能夠正常運行的,但是隨著時間的增長,硬盤的損壞率會成指數級別的飛速增長,整個系統的日常維護成本大幅上升,而系統壽命也會深受影響。
那么采用所謂的監控級硬盤又如何呢?從硬盤廠商的專業資料可以得知,監控級硬盤是硬盤廠商專門為DVR 等盒式設備設計的,其設計工作時間是7×24 小時,可以很好的支撐DVR/NVR 的長時間的工作。但是,誠如前文所述,對于平安校園的建設來說,集中存儲已經成為大勢所趨,對于集中式存儲設備SAN 來說,監控級硬盤已經不能滿足SAN設備的需求。因為一旦使用SAN 設備完成集中存儲,那么必然會帶來兩個應用:首先是一臺設備基本上需要承載幾百個前端設備的同時寫入,和十幾個甚至是幾十個用戶的同時讀出的可能性;其次是RAID 的應用,一般來說是RAID5,而RAID 的啟用要求存儲設備中的所有硬盤同時工作。那么對于這兩種應用,監控級硬盤5400 轉的轉速和對RAID 的不支持就成為了很自然的瓶頸,因為,轉速過低的話,多個前端的快速寫入自然會受到影響;而對RAID支持程度的不高,使得監控級硬盤只能支持單個硬盤的順序寫入,對于多個硬盤的同時讀寫,特別是并發寫入,會導致硬盤壽命的快速下降。
但監控級硬盤和企業級硬盤商務上的巨大差距,也讓視頻存儲廠商從數據下發源頭進行研究,流量盡量平均的分配在各個硬盤上,降低臨時流量的訪問,使業務對硬盤的讀寫更加平滑,降低硬盤轉速的需求。同時在設備的硬件上增加減震設計,減少監控級硬盤在組成RAID 后導致“共震”,拉平監控級硬盤和企業級硬盤在使用的差距,原則上性價比更高的監控級硬盤會在采用集中存儲模式的平安校園視頻監控系統中廣泛應用。
有效的利用生命周期管理
監控視頻數據的存儲成本,特別是存儲硬盤采購、維護成本,在整個平安校園視頻監控系統成本中占據了相當大的比重。而錄像存儲數據中又有大量的數據是無效、無用的數據,比如說在某個監控點一天24 小時的數據中,可能只有8 個小時是有人員活動的,那么就有16 個小時是無效圖像,但是我們依然需要將這16 個小時的無效錄像保持30 天。此外,監控錄像的時效性也是很強的,隨著時間的流逝,錄像數據的有效性也在飛速下降,例如20 天前的錄像的價值肯定遠不如3 天前的錄像。也就是說,監控錄像數據的生命周期非常明確,如錄像的創建期、活動期、消亡期和終結期,那么在不同的時期,相同時間長度的錄像占據的存儲空間可以是完全不同的。因此,為了有效降低錄像存儲成本,減少存儲空間,降低硬盤使用數量,及時的刪除無效錄像,或者靈活的應用備份/歸檔規則——抽幀備份、事件備份或者智能備份(有活動的圖像備份),都能夠迅速的提高存儲空間的利用效率,降低整個監控系統的存儲成本。
云存儲已然成為了全球儲存業的行業潮流,安防行業也緊追行業趨勢。反觀安防行業,發展的依仗聚焦在視頻監控板塊。那么視頻云存儲的成熟發展,將之應用到視頻監控當中,不僅可以輕松將視頻監控所攝取的海量視頻數據進行存儲,更能進一步從關鍵數據中獲取真實的關鍵信息,再向具體業務提供支撐,進一步深化安防,并且能夠在商務上升不多的情況下將視頻云存儲得到廣泛應用。因此視頻云存儲不僅僅在平安校園,在整個安防行業的應用,會隨著技術的成熟,而日益普及。