oe欧亿注册官方网站

欧亿杂志No.8

平安校园:需要什么样的存储

巴丽娟

  随着平安校园建设的展开,视频监控系统基本上在每个校园都得到了不同程度的应用。视频监控系统作为人类视觉在空间和时间上的延伸,实际上有两大功能需求:实时的看和控是视觉在空间上的延伸,录像的存和查则是视觉在时间上的延伸。因此监控录像的存储、检索和回放,在校园视频监控系统的建设和使用中,占据着举足轻重的地位。

集中存储已成大势所趋

  在早期的平安校园建设中,DVR 发挥了重要的作用,但是随着技术的发展,应用的扩展,分散部署的DVR 已经越来越不能满足现在的平安校园建设的需求。

  首先是过于分散的存储对于存储数据的统一管理与利用带来较大的障碍;其次由于DVR作为非专业存储设备,在从使用硬盘的专业性和存储可靠性保证措施(包括RAID,部件冗余)上来看,较之专业存储设备还有很大差距;而DVR 最大的优势就是本地存储能够大量的节约存储带宽,但是这一点在校园网带宽资源相对丰富的学校来说,就没有太大的优势了。

  特别是DVR 或者是盒式NVR 设备,实时查看和存储回放都在同一台设备上完成,一线安保值班人员能够很方便的接触到历史录像,对于一些敏感区域——如学生宿舍等,数据安全性就不能得到很好的保证。

  在网络技术的不断带动下,端到端的带宽成倍增长,不断增长的视频数据在带来海量视频存储需求的同时对集中存储也提出了新的技术述求和挑战:
■如何实现存储容量的平滑扩展?
■如何有效的降低由此带来的存储成本?
■如何更可靠地保存、更安全地使用和更便捷地分享这些数据?
■如何解决越来越庞大的系统给维护管理带来的困扰?

  传统以IPSAN 方式为主的集中存储技术不能较好的解决如上几个问题,核心问题在“虚拟化”和“共享”这两个命题。以集中IPSAN存储为基础,围绕“虚拟化”和“共享”两大核心技术为中心的视频监控的云存储技术完全符合平安校园建设的需求,能实现基于录像的平滑伸缩、便捷的数据分享、简单的维护工作能解决平安校园的建设以来遇到的各种问题。

文件存储的弊端及其解决

  谈及云存储,业界主流也是以分布式文件系统为代表的云存储技术。“文件存储”和“分布式”是传统云存储核心。文件存储不适合大规模的视频业务。

  存储设备或者是数据存储应用在校园有非常广泛的使用,大都是采用文件或者是数据库等结构化的数据形式,但是监控视频存储采用传统的文件形式并不是很合适的。因为采用文件形式对视频数据进行存储,只是把DVR 的存储模式简单的移植到了专业的存储设备上来,DVR 受限于较低的处理能力,为了便于对本来就不多的录像数据进行管理,自然而然的就采用了性能效率都不太高但是消耗处理资源很少的文件系统,这样一般的监控厂家就一脉相承的把文件存储方式转移到了集中存储中来了。

  为什么说文件存储方式不适合监控视频存储呢?这是由监控视频的特点决定的,与传统的文档数据、数据库数据不同,监控视频没头没尾,随时间的延续线性增长,属于非结构性数据,以流的模式存在。非要把一道流切片成一个一个的文件形式,会带来这样那样的问题。

  首先就是容易形成图像丢失,假设以5 分钟的图像为一个文件,那么假如当存储到2 分钟的时候,系统发生故障,已经存入的2 分钟历史图像由于并没有形成一个完整的文件(还需要3 分钟的图像存储才能形成一个完整文件),并没有存入存储设备中去,这样就丢失了2 分钟的历史图像,往往是这2 分钟内发生的事件导致了故障的发生,却没有记录下来,这是监控系统无法容忍的。与此同时还有当前录像的查询问题,如果需要马上知道当前时间前一瞬间发生了什么事件,但是由于没有达到文件形成的时间长度,所以无法立即查看当前录像。解决这类问题的直接方法是缩短文件的时间段,比如1 分钟一个文件,甚至半分钟、15 秒一个文件,这样就会带来另外一个问题,形成大量的磁盘碎片,浪费大量的空间——我们知道PC 机中的小文件越多,空间浪费就越严重。而且在调用存储录像的时候,需要频繁的打开关闭文件,降低了读取效率,写入也存在同样的效率问题。

  那么作为非结构化数据的监控视频,我们把它进行纯粹的非结构化存储——就像传统录像带存储一样,用流的方式进行记录——怎么样呢?这样又会带来检索的问题,如果以流的方式存储,那么磁盘空间就无法索引,只能通过时间进行线性检索。如果是磁带存储,那这样做是唯一的方法,而磁盘是可以通过“磁盘、磁道、簇”进行三维检索的,通过时间来进行线性检索就极大地降低了检索效率,浪费了资源。

  基于“块”格式的视频云存储模式有效的解决了上述两难问题,实现了非结构化数据的结构化存储。即以非常微小的裸数据块的形式存储监控视频数据,就如同物理上的“波粒二象性”一样,从宏观上看,视频是以流的模式存储的,提高了读写效率,提升了视频存储的可靠性;从微观上看,视频又是被分割成一个一个的数据块,便于建立索引,提高检索效率,提升检索精度,这也是能够实现秒级检索、即时回放的技术基础。

  基于“块”的视频云存储的分布式的架构对内能讲所有存储资源进行整合,虚拟存储资源池,解决存储容量变大或缩小的需求;对外能提供统一的访问模式和接口,更可靠地保存、更安全地使用和更便捷地分享这些数据。在数据容错上,可以通过扇区、磁盘、设备、RAID、纠删码 五个层次解决数据容错的问题,大大减少单点故障导致的业务停滞或数据丢失的问题。

硬盘的应用

  学校,特别是高校,也许是各个行业中硬盘密度最高的行业之一,从师生个人PC 上的桌面级硬盘,到各院系保卫处的监控级硬盘,再到教学科研数据中心的企业级硬盘,那么监控视频数据的存储究竟该用什么样的硬盘呢?对于监控录像的存储来说,桌面级硬盘自然是不可用的,因为桌面级硬盘的工作时间是7×8 小时,而监控录像的存储则必须是7×24 小时的。这样在采用桌面级硬盘实现存储的时候,刚开始的时候系统是能够正常运行的,但是随着时间的增长,硬盘的损坏率会成指数级别的飞速增长,整个系统的日常维护成本大幅上升,而系统寿命也会深受影响。

  那么采用所谓的监控级硬盘又如何呢?从硬盘厂商的专业资料可以得知,监控级硬盘是硬盘厂商专门为DVR 等盒式设备设计的,其设计工作时间是7×24 小时,可以很好的支撑DVR/NVR 的长时间的工作。但是,诚如前文所述,对于平安校园的建设来说,集中存储已经成为大势所趋,对于集中式存储设备SAN 来说,监控级硬盘已经不能满足SAN设备的需求。因为一旦使用SAN 设备完成集中存储,那么必然会带来两个应用:首先是一台设备基本上需要承载几百个前端设备的同时写入,和十几个甚至是几十个用户的同时读出的可能性;其次是RAID 的应用,一般来说是RAID5,而RAID 的启用要求存储设备中的所有硬盘同时工作。那么对于这两种应用,监控级硬盘5400 转的转速和对RAID 的不支持就成为了很自然的瓶颈,因为,转速过低的话,多个前端的快速写入自然会受到影响;而对RAID支持程度的不高,使得监控级硬盘只能支持单个硬盘的顺序写入,对于多个硬盘的同时读写,特别是并发写入,会导致硬盘寿命的快速下降。

  但监控级硬盘和企业级硬盘商务上的巨大差距,也让视频存储厂商从数据下发源头进行研究,流量尽量平均的分配在各个硬盘上,降低临时流量的访问,使业务对硬盘的读写更加平滑,降低硬盘转速的需求。同时在设备的硬件上增加减震设计,减少监控级硬盘在组成RAID 后导致“共震”,拉平监控级硬盘和企业级硬盘在使用的差距,原则上性价比更高的监控级硬盘会在采用集中存储模式的平安校园视频监控系统中广泛应用。

有效的利用生命周期管理

  监控视频数据的存储成本,特别是存储硬盘采购、维护成本,在整个平安校园视频监控系统成本中占据了相当大的比重。而录像存储数据中又有大量的数据是无效、无用的数据,比如说在某个监控点一天24 小时的数据中,可能只有8 个小时是有人员活动的,那么就有16 个小时是无效图像,但是我们依然需要将这16 个小时的无效录像保持30 天。此外,监控录像的时效性也是很强的,随着时间的流逝,录像数据的有效性也在飞速下降,例如20 天前的录像的价值肯定远不如3 天前的录像。也就是说,监控录像数据的生命周期非常明确,如录像的创建期、活动期、消亡期和终结期,那么在不同的时期,相同时间长度的录像占据的存储空间可以是完全不同的。因此,为了有效降低录像存储成本,减少存储空间,降低硬盘使用数量,及时的删除无效录像,或者灵活的应用备份/归档规则——抽帧备份、事件备份或者智能备份(有活动的图像备份),都能够迅速的提高存储空间的利用效率,降低整个监控系统的存储成本。

  云存储已然成为了全球储存业的行业潮流,安防行业也紧追行业趋势。反观安防行业,发展的依仗聚焦在视频监控板块。那么视频云存储的成熟发展,将之应用到视频监控当中,不仅可以轻松将视频监控所摄取的海量视频数据进行存储,更能进一步从关键数据中获取真实的关键信息,再向具体业务提供支撑,进一步深化安防,并且能够在商务上升不多的情况下将视频云存储得到广泛应用。因此视频云存储不仅仅在平安校园,在整个安防行业的应用,会随着技术的成熟,而日益普及。

欧亿帮APP

欧亿帮APP
渠道合作伙伴量身定制