NAS存储迁移是否有在线无需停服迁移方案?

NAS存储是否有在线迁移方案,如根据不同挂载目录IO监控情况,在无IO窗口进行切换。停服对我们系统可用性指标影响比较大,我们现在都是严控停服时间窗口,其实不仅仅是NAS存储,包含底层其他平台或设备,能做到在线不停服是最好的方案

参与26

6同行回答

朱向东朱向东课题专家组高级工程师某银行
NAS存储迁移是否需要停止服务主要取决于你们所采用的NAS存储替换方案和应用架构以及对NAS共享卷的读写频度。1、NAS存储通常都提供有在线迁移方案,以便在不中断服务的情况下迁移数据。若是同品牌的,可以通过存储底层协议进行数据同步迁移,若条件允许的情况下甚至可以做到存...显示全部

NAS存储迁移是否需要停止服务主要取决于你们所采用的NAS存储替换方案和应用架构以及对NAS共享卷的读写频度。
1、NAS存储通常都提供有在线迁移方案,以便在不中断服务的情况下迁移数据。若是同品牌的,可以通过存储底层协议进行数据同步迁移,若条件允许的情况下甚至可以做到存储层新老设备替换而服务IP不变,这样的话理论上应用服务层可以不停服务。若是异构品牌的,一般也都有相应的数据迁移解决方案,如采用开源的rsync,或第三方迁移软件等,在数据迁移阶段是可以不停应用服务的,但最终还是需要进入新老存储切换阶段的,就涉及增量数据同步迁移和应用服务节点的umount老存储以及mount新存储的操作,若应用程序设计对NAS共享卷的实时依赖程度不高时,可以密切监控IO负载情况,择机迅速执行提前准备好的切换脚本,是可以做到不停服的切换NAS存储,要注意的是,切换后再做一次增量数据同步校验,避免有数据缺失的情况。
2、要对应用程序的设计架构和部署架构进行分析,首先排查应用程序在设计时是否将NAS存储共享卷的访问地址加载到内存中(要确定更新方式),是否存在不间断遍历NAS共享卷的情况,若应用采取多节点集群部署,多节点的应用服务是否有争抢读一个共享文件的情况, 多节点的应用服务是否有共同写一个共享文件的情况,是否有打开一个文件后按需写入且不及时关闭的情况。若有类似情况,将可能直接影响NAS存储迁移在线不停服务的实施或导致数据文件被覆盖或umount失败的情况。其次,在多节点集群前提下,逐个对节点服务进行重启或对操作系统进行重启,理论上是不影响业务连续性的。

综上所述,无论您选择哪种方法,都建议在迁移过程中密切监控IO负载情况。确保在较低的IO负载期间进行迁移可以最小化对系统性能的影响。此外,与NAS供应商合作,并详细了解其提供的在线迁移方案和最佳实践,以确保成功完成迁移并最大程度地减少对系统可用性的影响。

收起
银行 · 2023-08-14
浏览832
czjingczjing系统运维工程师运维
有一种情况,如果通过存储底层数据复制且同一种型号存储可实现切换后保持NAS服务IP地址切换不变,可以实现应用端无需应用启停,无需手动对文件系统进行卸载挂载操作,几乎可以做到对应用无感知不停服务,这种情况对底层环境要求较高,不在我们这次讨论的范围之内。 更多时候我们需...显示全部

有一种情况,如果通过存储底层数据复制且同一种型号存储可实现切换后保持NAS服务IP地址切换不变,可以实现应用端无需应用启停,无需手动对文件系统进行卸载挂载操作,几乎可以做到对应用无感知不停服务,这种情况对底层环境要求较高,不在我们这次讨论的范围之内。

更多时候我们需要处理的是需要应用配合服务启停的,这时候无需停服的NAS迁移方案很大程度取决于业务系统的类型及应用系统的高可用架构。
NAS的切换过程一般都涉及到节点应用的启停,只有在停掉应用及文件系统读写操作时才有可能对文件系统进行umount及mount的操作,才能进行新老NAS存储的切换。
1、业务系统的高可用架构是实现不停服务切换NAS的先决条件,只有在具备多节点提供服务的前提下,才能在单节点进行NAS文件系统umount及mount时,其他节点可以继续提供服务,同时先切换节点恢复服务后可实施下一节点的NAS切换。
2、在切换过程中,存在先后切换的节点挂载不同NAS存储的过度时间,因此如果是7*24小时业务,则需要选择IO负载和NAS文件系统读写最为空闲的时间段实施,否则过度时间内大量读写容易造成数据不一致,给后续同步带来困难。
3、在完成所有节点的切换后,需要对NAS文件系统作一次同步,且需以不删除目标端文件的方式进行,以防在同步时删除在切换的过度时间内新NAS存储中生产的文件,造成数据丢失。

综上,对于具备高可用架构且有明显NAS文件系统读写空闲窗口时间的业务系统,是可以实现不停服的NAS切换的。对于7*24小时不间断读写NAS且具备高可用架构的业务系统,则需要考虑前后切换节点NAS数据不一致的问题,关注IO负载,选择IO负载较小的时间进行切换,则实现不停服务的NAS切换的可能性更大些。

收起
互联网服务 · 2023-08-16
浏览751
匿名用户匿名用户
做过几次NAS迁移,并未做到完全真正意义上的不停服,目前nas存储通过挂载不同目录进行增量同步,缩短停机周期,不知道各位专家有没有更好的方式显示全部

做过几次NAS迁移,并未做到完全真正意义上的不停服,目前nas存储通过挂载不同目录进行增量同步,缩短停机周期,不知道各位专家有没有更好的方式

收起
系统集成 · 2023-08-14
浏览771
匿名用户匿名用户
还是看看业务类型来做,想做到0分钟的话,可能性很难。需要评估或者多轮测试验证,控制再允许的范围之内。或者寻求厂商的帮忙,能不独立开发一套或配合这次迁移做到0分钟的程度。显示全部

还是看看业务类型来做,想做到0分钟的话,可能性很难。需要评估或者多轮测试验证,控制再允许的范围之内。或者寻求厂商的帮忙,能不独立开发一套或配合这次迁移做到0分钟的程度。

收起
系统集成 · 2023-08-15
浏览747
1,NAS迁移不停机,是整个存储产业的追求,可是到目前为止,也就Netapp在自家同构存储换代的时候实现了这个能力,特性叫Volume Move,就是按照租户粒度迁移数据到不同的阵列,然后IP跟着租户最后漂移一把,但是一旦更换为第三方异构阵列,就没戏了。。。2,客观讲,金融行业都强调不停机,但是...显示全部

1,NAS迁移不停机,是整个存储产业的追求,可是到目前为止,也就Netapp在自家同构存储换代的时候实现了这个能力,特性叫Volume Move,就是按照租户粒度迁移数据到不同的阵列,然后IP跟着租户最后漂移一把,但是一旦更换为第三方异构阵列,就没戏了。。。
2,客观讲,金融行业都强调不停机,但是从实际操作看,短周期停机更具备实操性。天下工具一大抄,基本上世面上可见的NAS迁移工具都是Rsync的各种变更版本,优化版本,最大的坑在于首次迁移完成后,增量迁移时,需要先停机,保证主机不写入,然后要扫描所有的文件以确保增量数据都被确认,并被增量传输。。。扫描的过程时长,往往远大于数据真正传输的时长。同时,从存储到主机,再到存储的折线形传输过程,也是造成数据同步慢的问题之一。。。
3,这些年,我们一直在考虑怎么改变这个事情,也就是在最近的版本里才支持了NAS免服务器迁移能力,有优先切换和优先拷贝两种模式。。。客观讲,眼下还做不到无中断迁移,还只是通过迁移路径和方式的优化,把迁移数据的速度提升了几倍甚至十倍,可以接管第三方NAS存储,这样可以实现较短中断。。。原理是,优先接管第三方NAS存储,这中间要做配置和映射,这期间需要几分钟的中断时长,但是一旦完成接管配置,所有后续的操作都是后台业务流,不再需要中断。客观讲,这也是目前业界在迁移第三方异构NAS的方案中,中断时长最短的。。。一方面有初期接管,就规避了二次增量传输所需要的文件扫描,另一方面,阵列对传,绕开了主机这一中间媒介,大大提升了速度。
4,未来有没有机会做到彻底无中断? 有机会。。。最近华为开源了一个客户端,NFS+客户端,基于这个并行客户端,未来是有机会做到彻底无中断的。。。

收起
互联网服务 · 2023-08-21
浏览698
zwz99999zwz99999系统工程师dcits
先初始同步后增量同步最后停机一次完成迁移显示全部

先初始同步后增量同步最后停机一次完成迁移

收起
系统集成 · 2023-08-18
浏览694

ChatGPT 回答

针对NAS存储的在线迁移方案,目前市面上已经有一些成熟的解决方案。其中,一种常见的方案是使用双活NAS存储,即在两个存储设备之间进行数据同步,实现在线迁移。在迁移过程中,可以根据不同挂载目录的IO监控情况,在无IO窗口进行切换,从而避免停服对系统可用性指标的影响。

此外,还有一些其他的在线迁移方案,如使用虚拟化技术实现存储迁移、使用存储虚拟化技术实现在线迁移等。这些方案都可以在不影响系统正常运行的情况下完成存储迁移,从而提高系统的可用性和稳定性。

需要注意的是,无论采用哪种在线迁移方案,都需要进行充分的测试和验证,确保迁移过程中不会出现数据丢失、数据损坏等问题。此外,还需要对系统进行充分的备份,以便在出现问题时能够快速恢复系统。

提问者

fanyqing
技术架构厦门银行
擅长领域: 分布式系统服务器数据库

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-08-14
  • 关注会员:7 人
  • 问题浏览:2825
  • 最近回答:2023-08-21
  • X社区推广