維基百科全書的定義:“大數據是飛速增長的,用現有數據庫管理工具難以管理的數據集合”。這些數據包括:社交媒體、移動設備、科學計算和城市中部署的各類傳感器等等,其中視頻又是構成數據體量最大的一部分。據IMS Research 統計,根據IHS 2014 視頻監控市場報告,未來五年全球監控攝像機將保持22% 的復合增長,前端產生的視頻監控數據將更為龐大,在視頻監控大聯網、高清化推動下,視頻監控業務步入數據洪水時代不可避免。
云存儲是炙手可熱的“大數據”中組成之一:存儲單元模塊。“大數據”中提及富媒體資源指的就是視頻監控業務產生的大量數據,占比巨大的富媒體信息中的載體為存儲設備和云存儲解決方案。存儲設備或云存儲解決方案作為視頻監控里中結構化和非結構化數據的載體,橫跨基礎架構、內容信息三個維度的信息化建設的基礎。如果將“富”媒體中的視頻信息,從底層的動態存儲到以事件或物理為索引的信息分析,再到將海量的非結構化數據轉化成信息和洞察力,做到真正的“為人所用”,才是大數據的真正魅力所在。
云監控以標準化、模塊化、“即插即用”的一體化交付方式及無限的擴展性,為構建面向云的監控管理模式提供了全新的解決方案。作為業界唯一一家已經將監控云技術覆蓋并廣泛應用于政府、企業園區、智能交通、地鐵、校園、高端智能建筑等各個領域的解決方案供應商,宇視第三代“CDS 云直存”有效解決同質化的低價雞肋和差異化的需求陷阱,使得用戶的TCO 總擁有成本、應用效率和可靠性最佳。
大數據業務特征分析
監控里的視頻錄像數據的讀寫模式從前端IPC 或編解碼器的寫入模式及整體方案的規劃和維護都大大的不同于普通的數據存儲模式。
主要有如下特征:
■恒定碼流的高并發寫入
■存儲空間的提前規劃
■錄像視頻的生命周期管理
目前絕大多數的系統都是采用文件系統的方式進行音視頻數據的存儲。文件系統有幾個最大的問題:
■存儲設備管理接口不統一
■存儲資源的管理及分配制度
■以文件系統為核心的數據存儲方式
■文件系統易損壞,寫文件會導致文件系統元數據區的頻繁持續更新,因此文件系統的元數據區很容易損壞,導致文件系統不可用。
■性能問題:文件系統經IO 過操作系統的封裝,在數據長時期持續寫入的情況下,開銷要大于直接裸盤寫入,降低性能。在磁盤上存在大量錄像文件時,系統的錄像檢索效率會下降很多。另外,磁盤上的大量文件在多次刪除重建后,數據在物理磁盤上的位置將變成不連續,導致數據寫入的隨機性加大,從而降低錄像數據的寫入性能。
云存儲的技術特點
1 統一管理管理
■即插即用
云存儲解決方案實現了無縫的將視頻處理技術和存儲設備無縫的融合,實現了對存儲資源進行集中管理,動態的為攝像機分配存儲資源。實現了云的最大特點:即插即用。
云存儲的數據管理模塊能自動識別新加入的設備信息,不僅實現了對存儲資源的整合和集中管理,并在系統的運行過程中,通過巡檢機制來實時監控各存儲設備的存儲資源狀態,在發現故障時及時上報給中心的視頻管理服務器進行處理。
■按需分配
試想將一個大型視頻監控系統中部署的上萬個攝像機的音視頻數據都存儲起來,將會占用非常大的存儲空間,增加系統成本。
事實上,并非所有的視頻數據都需要全天24 小時存儲,可以根據實際情況有選擇的不同的存儲策略進行存儲。監控云存儲解決方案完美的解決了用戶的顧慮,根據用戶的現有環境和存儲策略,實現每個前端的 按需分配。
■自動擴容
監控CDS 云存儲解決方案實現了存儲的自動擴容功能。
當IPSAN 設備注冊到數據管理模塊后,數據管理模塊自動獲取存儲設備的各項信息,并把這些資源整合成一個大的存儲資源池,制訂存儲策略時根據最優策略為攝像機動態分配資源,以充分利用各存儲設備的存儲資源。動態的為攝像機分配存儲資源,提高資源利用率。當現有的存儲空間不能滿足新的存儲計劃時,在不影響前端業務的情況下,能通過策略實現存儲空間的自動擴容。
■無限擴展
監控CDS 云存儲平臺可分成支持1024 級的管理模式,每級的存儲模塊支持1024 臺存儲設備,實現存儲設備的無限擴展。
2 錄像數據的安全訪問
存放在存儲設備中的視頻數據可能涉及到隱私或敏感信息,所以對于訪問存儲的音視頻數據的用戶應進行權限認證,嚴禁未授權用戶對數據的非法訪問。

完善的數據保護機制及優化
而在視頻監控應用中,通常一個陣列中磁盤都是7×24 小時不間斷工作。音視頻數據的特征是,部分的數據損壞只會損壞很短一段時間的音視頻片段不可使用,并不會影響全局,這種應用模式下,傳統的RAID 算法將會導致陣列變得非常的脆弱,容易由于少量的磁盤IO 錯誤導致整個陣列不可用。因此,在視頻監控領域,UNIVIEW 根據這個行業的應用特征,從設備級和方案級兩方面出發進行優化,大大提高了陣列的容錯能力,提升了可用性。
設備層
監控存儲設備自身提供多種保護機制,最大程度的保護視頻錄像數據。
■物理層
在物理層,通過最先進的磁盤技術保證數據的容錯(磁盤扇區的remap 技術)。
■RAID 層
在傳統的RAID 應用中,對于磁盤的錯誤是零容忍的,一旦發現磁盤IO 錯誤,就會將故障磁盤下線,導致陣列降級。 ■RAID 重建
在RAID 重建功能中,重新設計了新的重建算法,大大提升了RAID 重建速度。有效保證了在陣列降級情況下的數據恢復速度,提升了系統的可靠性。
■硬盤順序上電
包括存儲資源的可靠性(磁盤可靠性、RAID 可靠性、存儲設備級保護),存儲數據的可靠性,數據恢復,性能優化。
■設備層
支持在線式內嵌UPS 電池和數據保險箱功能,異常停電時可以繼續供電以便把寫緩存數據保存到數據保險箱中,完全保證用戶數據的完整性。
■協議層
在存儲協議層面,針對音視頻媒體流傳輸的特點,有針對性的優化了iSCSI 協議參數,使得存儲媒體流的傳輸更加的高效,提升可靠性。
方案級
從寫入的視頻錄像數據采集后的傳輸到后端存儲設備上錄像數據的寫入過程中宇視科技的監控CDS(Cloud Direct Storage) 云存儲提供解決方案級的保護,完美的保護視頻錄像數據。
■前端緩存補錄
在監控系統實際應用環境中,經常會面臨網絡終端、存儲設備斷電等情況,導致前端的錄像無法及時存儲到中心存儲資源,從而造成錄像丟失。
云存儲解決方案,在網絡或中心存儲等異常時,前端設備會啟動緩存功能,將視頻數據存在本地的存儲設備上( 如:U 盤、移動硬盤和SD 卡等)。同時,后端鏈路或設備恢復正常后,會自動將補錄到的錄像上傳到后端存儲上,避免造成數據丟失。同時在統一的監控管理平臺上,能對該時間段的錄像進行檢索、回放、刪除等管理操作。
■動態碼流直存
宇視科技的CDS 云存儲解決方案:對于宇視科技監控終端,可按照錄像存儲業務的優先級,支持變碼流存儲:對于周期計劃類等優先級較低的錄像存儲業務,可采用低碼流或者抽幀方式的存儲,適當減少對存儲空間的占用。而對于告警聯動類等優先級較高的錄像存儲業務,可采用高碼流、全幀等方式存儲,全力保證錄像的高質量、高清晰度。
同時,基于支持前端智能分析功能的監控終端,對于監控畫面中的重點區域或動態圖像,采用低壓縮比、高碼流格式進行傳輸及存儲;對于監控畫面中的非重點區域或靜態圖像,采用高壓縮比、低碼流進行傳輸及存儲。這樣在保證關鍵錄像數據的高質量傳輸、高質量存儲的同時,可有效減少非關鍵數據占用的傳輸帶寬、存儲資源。
■存儲的“『N+M』,M 最小為零”保護
存儲“『N+M』,M 最小為零”是預防存儲故障的實現方式之一,“N”為在線存儲陣列,“M”為冗余存儲設備,“N”和“M”在一個局域網里,但可以放置在不同的地域。通過“N+M 保護“能將前端攝像機的數據自動存放到冗余存儲陣列設備上。當在線存儲恢復正常后,又自動的恢復到之前存儲設備上。
存儲“『N+M』,M 最小為零”從監控系統整體解決方案的角度,有效解決不同級別及不同類型的存儲異常情況下的存儲可靠性問題。根據用戶需求,靈活調整主用、冗余存儲設備的數目,比傳統陣列支持雙控保護技術的方案整體可靠性和靈活性更高,且全系統保護成本更低。

總結
宇視根據自己多年在存儲和多媒體領域的技術積累和理解,基于多媒體應用的特點,有針對性的對現有存儲技術進行了創造性的改進和優化。
宇視的CDS 云存儲解決方案實現了對存儲設備的統一管理、按需分配、即插即用,基于云存儲理念的的宇視科技存儲設備融入的云存儲數據管理模塊,更好給用戶提供端到端的云存儲服務。