海量存储的各种扩展分析
- 来源:纵横数据
- 作者:中横科技
- 时间:2013/3/13 16:25:00
- 类别:新闻资讯
随着用户数量的增加,以及用户积累数据的增加,海量存储系统的数据将不断增长,因此海量存储系统需要首先具备数据扩展的能力。 由于采用了海量存储系统 SAN 网络存储结构,因此数据容量的扩展相对比较容易实现,只要购买新的存储设备,直接接入光纤交换机,经过配置管理软件的恰当设置即可。
在本方案的设计中,必须足够重视IT环境系统建设的可扩展性,导致海量存储系统IT环境可能需要扩展的原因包括:用户数量的增加;本方案的实施需要分期进行,初期方案必须考虑未来的扩展性需求不明确的情况下,逐步发展用户的需求的不断变化,新的关键应用的出现。容灾级别需要升级,以抵御更大范围的风险需要。
以上需求的变动将可能导致海量存储系统如下方面的扩展需要:
数据扩展能力
随着用户数量的增加,以及用户积累数据的增加,海量存储系统的数据将不断增长,因此海量存储系统需要首先具备数据扩展的能力。由于采用了海量存储系统SAN网络存储结构,因此数据容量的扩展相对比较容易实现,只要购买新的存储设备,直接接入光纤交换机,经过配置管理软件的恰当设置即可。数据扩展需求一般表现在如下2个方面同一用户原来设置的容量不能满足用户使用,需要扩展容量(包括减少容量)。
对这一需求,一般可以通过存储管理的管理软件,进行动态扩展即可。为新的用户提供存储容量(包括取消老用户的存储容量,以便重用)通过存储管理软件,可以进行容量的增减。为了更好地实现海量存储系统地数据扩展能力,需要在扩展数据存储能力时,注意如下几个方面:尽可能为用户一次提供合理地空间。虽然通过存储设备的管理软件可以实现数据容量的动态调整,但动态调整后,磁盘的重构需要的时间一般较长。
注意光纤交换机端口数的变化。尽管目前接入交换机的端口数量够用,但要避免随着海量存储系统的发展,导致交换机端口数太少,使得存储设备的接入困难。一般来讲,出现交换机端口数太少的情况,表明SAN网络中需要增加新交换机,要合理设置交换机之间的连接,避免出现数据传输瓶颈。每个存储磁盘阵列在规划时都应该预留存储扩展能力。在同一盘阵中进行容量的动态扩展,相对容易一些。
一般而言,存储容量接近总物理容量的70%时,就需要考虑购买和添加新的存储设备。新的存储设备容量应该尽可能比较大,一方面减少单位存储容量的成本,另一方面也便于管理。在购置新的存储设备时,采用同一系列的存储设备,采用同样存储设备管理软件,可以减少管理复杂度和管理成本。同时注意购置存储设备的相关性能指标(例如支持的主机数等),建议先期先不采用虚拟存储软件对存储设备进行同一管理。在将来有必要时,可以考虑采用虚拟存储管理软件降低存储容量管理的复杂度。
应用扩展能力
由于用户需求的不断增长,以及新的容灾技术和方案的出现和发展,海量存储系统的应用扩展将是不可避免的。本海量存储系统在设计时充分考虑了容灾应用的扩展能力,可能的扩展需要和实现策略分析如下:
1)通过原有容灾设施的配置来满足相同用户端应用容灾的数量扩展
在设计和采用容灾技术和方案时,注重了容灾技术和方案的开放性,容灾方案中的架构和产品尽可能采用开放式平台,通过“一对多”的模式,以少量的设施为同时众多的用户端应用和数据提供容灾服务。这样,当仅仅是拓展相同的用户端应用时(利用相同的数据库、相同的操作系统等),可以通过简单的设置来实现应用的增加。满足相同应用容灾需求的扩展。
为了实现“一对多”的服务模式,在选择中心的技术和产品时,还应尽可能考虑对用户端操作系统的开放性。尽量避免由于用户端操作系统平台的不同,海量存储系统不得不重新布署新的设施和产品。但考虑到海量存储系统是一个服务对象数量总多的公共中心,因此,在采用“一对多”的模式下,也可能性能、操作系统平台的不同等原因,一套通用容灾平台和设施无法满户足够数量的要求,在这种情况下,就需要考虑增加新的容灾设施来扩展容灾能力。
2)通过增加新的容灾应用满足新的用户端容灾需要
在如下情况下,需要考虑增加新的容灾设施满足新的用户端容灾需要:a)原有容灾设施由于性能的原因无法满足众多用户的需要;b)由于原有的容灾设施无法满足用户端操作系统的需要;c)用户端有新容灾需要海量存储系统采用新的容灾方案、部署新的容灾设施(例如iSCSI技术等等);等等。这时,可以通过在海量存储系统直接设计新的容灾方案、部署新的容灾设施来实现。这依赖于海量存储系统网络扩展能力和场地扩展能力。
因此海量存储系统应用扩展能力的实现,一方面依赖于原有容灾方案和部署产品的开放性,一方面依赖于海量存储系统的运行维护和技术支持能力。归根结底,海量存储系统的扩展能力还取决于海量存储系统的网络、场地等基础平台的扩展能力。
网络扩展能力
海量存储系统网络直接影响海量存储系统数据的传输性能,网络扩展能力是保证容灾网络数据传输可用、可靠和性能扩展的需要。具体来说,需要的网络扩展能力包括如下用户的接入能力的扩展首先要保证用户接入多路由的可能性,由于海量存储系统服务对象、以及政务专网结构的特殊性,需要从政务专网来实现。设定目前政务专网运行的高层协议是IP协议。为了保证用户端到海量存储系统端数据传输的用户的接入性能及扩展,采用网络结构,海量存储系统的扩展容易实现。
在最初设计时,在充分考虑当前的基础上,考虑未来的网络能力的需求。在本海量存储系统,不论是LAN网,还是SAN网,都采用了核心-边缘交换结构,这是一种容易扩展的架构。需要关注核心交换机的富余端口的数量,做适时的扩展。必要时升级网络设备,较少数据传输瓶颈。
场地扩展能力
场地扩展能力包括系统的物理空间,地理空间等等,它为海量存储系统提供最后的扩展能力。
管理扩展能力
随着海量存储系统的逐步扩展,海量存储系统的场地基础设施、网络设施、存储设施、服务器设施等规模会逐步扩大,其中运行的容灾应用规模也会越来越大,为了更好地支持海量存储系统的管理,需要管理能力相应地得到扩展。管理能力的扩展主要通过管理软件的选择实现,必要时通过开发门户管理软件来实现应该规划管理软件的实现的主要功能及其扩展实现包括:
存储资源管理的扩展性:
存储资源管理系统应该提供存储网络上的各种系统对硬盘空间、磁带库空间的使用管理、监控、预测和分析,并能以各种报表的方式呈现。在存储资源数量增多,存储设施类型增多的情况下,可以考虑采用虚拟存储管理。存储资源在选择时,必须充分考虑其可管理性,除了支持SNMP管理协议外,更重要的是支持SMI等存储管理协议,以便更好的实现可管理性。
存储网络管理的扩展
负责发现、监控与管理整个存储网络,以及网络的连接性、每个节点的状态、网络可用性、系统性能等等,完善的事件管理可以将事件及时地以各种方式报告给管理员。同时,还可以对光纤交换机等网络设备进行配置管理。同样存储网络设施应该支持SNMP、SMI等协议,以保证对其管理性的扩展。
系统监控管理扩展
系统监控管理应该能够持续的监控分布式的异构系统和网络设备的运行状态,应该支持OS/390、z/OS、UNIX、Linux、Windows、OS/400、TandemNSK、OpenVMS、PalmOS、MVS等常用的操作系统,并通过开放的接口,确保对更多系统的管理扩展。同时,系统监控管理软件必须提供非常灵活的体系架构从而有利于管理范围的伸缩性。
b容灾系统中的安全管理涉及到了网络的安全性、跨防火墙的数据访问与数据保护、主机的安全性、数据的安全性以及传输的安全性、审计、漏洞扫描等内容。这些都是保证容灾系统正常运行以及安全无忧的保证。系统的安全管理功能一般应该包括:身份管理、访问管理和威胁管理,并且安全管理系统可以提供一致的直观显示和管理功能,从而协助海量存储系统实现安全管理。安全管理系统必须具备支持SNMP、SMI等多协议,并且具备良好的开放性和扩展性。
运维管理能力的扩展
海量存储系统应该通过一个综合的、集成的智能服务台来为杭州市电子政务各应用系统提供服务,该系统应高可以接受通过传统业务申请或Web界面手工提交的申请,也可以自动接收事件管理平台转发的问题。并且按照规范的处理流程完成问题请求、变更管理、应用升级等服务水平管理,科学的自动的完成人力资源分配,确保每个业务得到高效的解决。管理体系的核心。它把用户、各级支持人员、被管理IT系统和监控管理软件有机的结合起来,通过服务台提供的标准化管理模式协同工作,使整体IT服务支持体系达到高效、有序、迅捷的预期目标,从IT服务支持的基础方面保障各项业务系统的高效运行。
集中管理门户扩展
集中管理门户提供对以上各种监控进行集中并且基于Web页面的管理能力。可以实现通过任意一台浏览器,按不同的角色,集中管理各种存储系统与备份系统。集中管理门户的扩展能力依赖于集中管理门户软件的选择,系统必须是一个开放的管理系统,能够通过非常灵活的模块配置或者简单开发,很容易就实现管理能力的扩展。
容灾级别扩展
目前,高可靠性海量存储系统的设计,由于距离的限制,容灾能力虽然达到了一定的程度,可以预防一般地域性威胁,单要提供容灾服务的级别,达到防范局部战争和地域性危害的程度,还需要对容灾能力进行扩展。容灾能力的扩展需要增加容灾的距离,使需要容灾的数据和应用在更远的地方实现复制和冗余,例如在1000公里以外建立另外一个海量存储系统。但建立另外一个海量存储系统,又需要庞大的资金支持。
为了节约建设成本,同时考虑到国内其他数据业务商也在规划和建设自己的海量存储系统,所以可以考虑和别的不同地理位置的海量存储系统建立互为备份,在充分利用现有海量存储系统的基础上,将城市级别的容灾能力扩展到跨城市的全国范围。例如可以考虑杭州和上海海量存储系统各规划和建设足的容灾场地和网络,为对方城市海量存储系统的数据和应用提供远距离的容灾能力。在条件容许的情况下,还可以考虑多个城市互为备份,将城市容灾级别能力进一步提高。由于城市间互为容灾建立于各个城市海量存储系统的首先实现上,而且实现起来牵涉的因素较多,因此,本方案暂不对此方案的设计和实现进行论述。