作者sungq·2022-03-07 09:41

副处长·某大型三甲医院

基于高端全闪存存储在医院中的应用与探索

字数 9780阅读 3516评论 3赞 6

# 概要

北京协和医院（以下简称“协和医院”）成立于1921年9月16日。是一所集医疗、科研、教学为一体的现代化综合三级甲等医院，在国家三级公立医院绩效考核中两次排名第一，在复旦大学医院管理研究所公布的“中国医院排行榜”中连续十二年名列榜首。在“健康中国2030”国家战略的指导下，协和医院不断加快智慧医院的建设进程。为让医护人员工作效率更高，进而让患者获得更好的就医体验。保证医院信息系统的稳定、可靠、高效，医院采用华为最新一代OceanStor Dorado18000系列全闪存储，从可靠性、性能、可维护性等多方面使能医院信息系统，发挥了的巨大作用。

# 1．  项目背景

在“健康中国2030”国家战略的指导下，协和医院不断加快智慧医院的建设进程，旨在建立医疗、服务、管理“三位一体”的智慧医院系统，以“智慧服务”、“智慧医疗”、“智慧管理”、“互联网+健康”为重点大力发挥信息技术在现代医院建设管理中的重要作用，不断提高医院治理现代化水平，形成线上线下一体化的现代医院服务与管理模式，为患者提供更高质量、更高效率、更加安全、更加体贴的医疗服务。

数字化医院是现代医疗发展的新趋势，数字化医院系统是医院业务软件、数字化医疗设备、IT基础平台所组成的综合信息系统，数字化医院工程有助于医院实现资源整合、流程优化，降低运行成本，提高服务质量、工作效率和管理水平，数字化医院是医院现代化的必由之路，医院只有充分利用数字信息技术，才能解放劳动力，使其在激烈的市场竞争中取得成功。

数字化底座是数字化医院建设的基石，我院IT基础设施建设多年，随着医院业务系统的逐渐增多，业务量逐年递增，原有的传统IT基础设施和架构已经难以支撑核心业务系统的业务需求。

# 2．  建设目标

由于信息平台建设是医院面向未来发展的整个信息系统运行的基础，因此对基础平台的稳定性、安全性和运行性能要求较高，按照“继承性与扩充性、先进性和成熟性、高可用性、可靠性”的设计原则，完成基础IT设备的改造。本次建设的主要目标是：

- 核心业务连续性

本次建设覆盖医院核心HIS/EMR数据库、LIS数据库、PACS数据库、虚拟机及虚拟机中的其他数据库和应用等。随着医院信息化建设的发展，医疗应用的重要程度越来越高，一旦业务系统出现问题，将会对医疗活动产生重大影响。因此，必须建设可靠的解决方案，保证在软件、硬件、数据中心故障情况下核心业务系统连续运行，医院医疗过程不中断。

- 保障数据安全性

医院信息系统中保存了大量HIS，EMR、LIS、PACS等大量的医疗数据，一旦遭受损失，其价值是无法估量的。因此，必须建立数据连续保护方案，保障医疗数据在误操作、病毒侵害等场景下的安全性，确保在数据不损坏后能够快速恢复到保护时间点的数据。

- 提高基础资源利用率

通过存储虚拟化技术将原来存储设备整合到新的基础架构中，既满足了业务需求，节约了投资，又很好的提高了存储资源的利用率，并简化基础架构管理复杂度。

# 3．  需求分析与挑战

门诊业务是医院面向病人的直接窗口，医院每天都会有非常高的门诊量，在目前医疗资源相对紧张的情况下，门诊效率不仅关系到医院的收益，也关系到病人满意度的提升。门诊对网络/业务系统需求的典型特点就是快速响应、高可靠；避免响应慢、系统故障等问题，使得病人等待的焦急性扩大。另外，门诊还有突发性强的特点，因为大量的门诊业务集中在上午，因此同时要求系统要有足够的性能支撑突发。

住院业务是医院的重要业务组成部分；业务上包括病人的各种医嘱开具、医嘱执行数据，病人体征数据记录、住院费用记录结算等；为了提升效率，目前移动查房、移动护理等多种无线业务也在实施；而且随着新技术不断进步，针对ICU监护、探视等视讯业务也逐步在主要业务中开展；这些业务对网络及IT设施提出了可靠存储、大带宽、安全传输等诉求，避免因数据丢失或错误引起各种纠纷。

PACS系统是完成各种影像数据进行采集、存储、传输和处理，并进行全院共享，PACS影像具有单张数据量大、数量多的特点。为保障良好的业务体验，从医生点击阅片到完成影像展示时间应在2~3秒以内，因此需要网络保障在1秒内完成数据传输；避免因延迟导致医生阅片卡顿的问题发生。

# 4．  设计思路

从业界来看，数字化医院系统IT基础平台需要具备足够的灵活性、扩展性、兼容性，以满足数字化医院的这种发展形式。存储设备作为IT基础平台的关键、作为信息化系统最底层的硬件产品，其选型思路尤为重要。

设备选型应该遵循“行业主流、安全稳定”的原则，同时，兼顾性能（主要包含IOPS、MBPS及延时等指标）与成本，并充分考虑国家信息技术应用创新战略。医疗存储设备选型的关键点在于存储需要具备以下几个特点：

## （一）行业主流

所选择的存储设备品牌及型号需要在业界，尤其是在同行业有广泛的成功应用案例，经得起同行业的考验。最后，需要有稳定的服务团队，产品和方案落地靠的是人，医院的数据中心存储方案落地，需要有资深的行业架构师和服务人员，才能确保该硬件产品得到强大的后台技术团队支持。参考2020年Gartner企业主存储品牌魔力象限排名，行业领先的象限中不仅有国际存储大厂HDS、Infinidat，而且也有例如华为这样与国际水平相比毫不逊色的国内存储厂商；近年来，某些国外传统存储大厂进行了战略大调整，在国内的存储技术服务力量明显削弱，相对其它厂商而言，华为存储设备的技术支持服务能力较强，能在第一时间响应客户需求。同时核心存储也需要考虑到存储的性能，对业务未来不可预测性能需求，需要可以应对，如使用更新的存储协议和存储介质、对于多云平台的支持，如 Openstack、VMware、容器等。

## （二）安全稳定

存储设备重点需要考虑稳定性和数据服务能力，对医院数据中心而言，存储设备牵一发而动全身，存储架构的稳定性及可靠性是数据中心存储选型最基本也是最重要的需求，包含存储架构冗余度较高，各个部件如：控制器、磁盘、前端接口卡、后端接口卡、网卡及电源等均为冗余设计、支持在线热插拔，任意部件损坏均不影响主机上业务运行。

首先，整个存储系统要具有全冗余与安全性设计，不存在“单点故障”，包括控制器、缓存、硬盘、前端口、后端口、电源、风扇、电池等部件均具有冗余，硬件维护对上层主机访问无感知。作为存储系统中最重要的两个部件“控制器”和“硬盘”，有的存储产品已经可以做到支持控制器四坏三，硬盘可容忍两块甚至三块同时损坏，如：华为最新高端存储甚至可以支持控制器八坏七。

其次，各部件可以进行微码在线升级，对主机访问无影响。特别是关键部位控制器，已有最新存储产品可以支持控制器升级微码不重启。

## （三）可维护性

存储设备需具备较高的可维护性，各个部件的预防性维护和更换均为在线操作，控制器、硬盘及接口卡等部件都必须支持在线微码升级，交替重启部件或更换部件时不可以影响到上层业务；可以通过机器学习等先进的存储算法，实现存储服务的自我优化，并且可以智能的监控存储设备的运行状态，预测未来的存储服务需求。

## （四）硬件架构

当前存储设备产品根据架构分为“集中式架构存储”及“分布式架构存储”两大阵营。集中式架构存储采用的是块机制，以块为单位实现数据的更新和锁机制，其机制跟数据库管理数据文件的方式类似，性能及安全性可得到有效保障。集中式存储最大的优势在于架构简单、维护相对容易，已有的运维经验能够延续，同时传统存储厂商支持能力相对较强。

对于医院信息系统中大多数关键应用，包括HIS、LIS、PACS等应用，具有高稳定性、高吞吐量和低时延等特性的集中式架构存储是更好的选择，存储设备的各个控制器工作在对称Active/Active模式，各控制器性能负载稳定均衡。

# 5．  建设内容

## 5.1  建设内容概述

本次建设充分利用本院双数据中心优势，通过将医院楼宇间两个数据中心建成双活中心，既可以为每个信息中心内部的应用提供冗余保护，实现站点内部的无缝漂移；又可以实现，当某个信息中心出现故障时，将该站点所有的应用系统，切换到另一个站点中，实现两个站点之间的应用故障无缝连续运行。最终，满足在不同场景下对业务连续性的要求，本次建设内容：

主机房建设：替换老旧小型机和部分虚拟化平台服务器设备，采用1台华为OceanStor Dorado 18500 V6四控存储，承载Caché、MYSQL、Oracle等数据库，要求数据写入延迟小于1ms，存储数据同步时间小于0.5ms，和采用VM虚拟机等应用，使能HIS、手麻、财务、集成平台、PACS等业务系统。

备份机房建设：建设本地双活数据中心，采用1台华为OceanStor Dorado 18500 V6与主机房构成双活阵列，和在线不中断业务组成双活；搭配华为HyperCDP快照技术实现核心业务系统的数据保护。在保证硬件故障不影响业务的同时很好的抵御勒索病毒的侵袭。

机房之间通过光纤直连的方式、打通大二层网络实现跨中心的数据通信。通过建设，构造完整双活中心，通过可视化的BC Manager实现双活中心统一管理，可提供如下功能，提升医院对病毒防护，人工误删后可恢复及常规的灾备演练场景：

- 双活自动切换恢复；

- 备份存储快速容灾切换；

- 对生产无影响的开发/测试演练；

- 常用特定业务细粒度恢复；

- 备份恢复功能。

![](/home/attachment/202203/07/1256137_164661716130434.png)
图1：整体架构示意图

## 5.2  实现原理

**5.2.1  双活方案实现原理**

5.2.1.1  双活业务访问

本次双活方案依赖存储的双活特性实现，华为HyperMetro特性又称双活特性（以下统称双活特性），双活特性中的两个数据中心互为备份，且都处于运行状态。存储层的双活特性为业务双活提供了一个双活平台，配合应用集群实现应用层双活。

当一个数据中心发生设备故障，甚至数据中心整体故障时，业务自动切换到另一个数据中心，解决了传统灾备中心不能承载业务和业务无法自动切换的问题。提供给用户高级别的数据可靠性以及业务连续性的同时，提高存储系统的资源利用率。

![](/home/attachment/202203/07/1256137_164661718093735.png)
图2：双活数据中心部署简图

存储双活基于这样的一个基本原则，任意一套存储上具有对业务主机而言相同的数据，业务主机在单份数据不可用时，只会当成部分路径故障进行处理，存储层在该转换过程中悬挂自身I/O，并不响应主机，待处理完成后再响应主机，该过程对主机应用而言是透明的。

I/O双写保证数据零丢失的流程，如下图所示。

![](/home/attachment/202203/07/1256137_164661719226432.png)
图3：双活写I/O流程

- 主机下发写I/O到双活管理模块。

- 系统记录LOG。

- 执行双写：双活管理模块同时将该写I/O写入本端Cache和远端Cache。

- 本端Cache和远端Cache向双活管理模块返回写I/O结果。

- 根据4的结果进行处理：

•  如果两端存储系统都返回写成功，则清除Log。

•  如果任意一端返回写失败，则进行以下处理：

a.  将Log转换成DCL，转换成功后清除Log，记录本端LUN和远端LUN的差异数据。

b.  双活Pair关系断开，双活Pair的运行状态变为待同步。I/O变成单写，写成功的一端继续提供主机业务，写失败的一端停止主机业务。

- 返回主机I/O相应成功。

支持并行访问，基于两套存储系统实现Active-Active双活，两套存储系统的双活LUN数据实时同步，且两套存储系统能够同时处理应用服务器的I/O读写请求，面向应用服务器提供无差异的Active-Active并行访问能力。当任何一台存储阵列故障时，业务自动无缝切换到对端存储访问，业务访问不中断。

相较于Active-Passive方案，Active-Active双活方案可充分利用计算资源，有效减少阵列间通信，缩短I/O路径，从而获得更高的访问性能和更快的故障切换速度。

![](/home/attachment/202203/07/1256137_164661723118534.png)
图4： Active-Passive 双活与Active-Active双活对比

5.2.1.2  数据一致性保证

HyperMetro支持以双活Pair或双活一致性组为单位提供服务和进行状态管理。

一致性组是多个双活pair的集合，可以确保单个存储系统内，主机在跨多个LUN进行写操作时数据的一致性。一致性组进行分裂、同步等操作时，一致性组的所有双活pair保持步调一致。当遇到链路故障时，一致性组的所有成员对会一起进入异常断开状态。当故障排除后，所有成员同时进行数据的同步，从而保证从站点灾备阵列数据的可用性。

5.2.1.3  双活仲裁模式

当提供双活LUN的两套阵列之间的链路故障时，阵列已经无法实时镜像同步，此时只能由其中一套阵列继续提供服务。为了保证数据一致性，HyperMetro通过仲裁机制决定由哪套存储继续提供服务。

HyperMetro支持按双活Pair或双活一致性组为单位进行仲裁。当多个双活Pair提供的业务相互依赖时，需要把这些双活Pair配置为一个双活一致性组。仲裁完成后，一个双活一致性组只会在其中一套存储系统中继续提供服务。

- 静态优先级模式

主要应用在无第三方仲裁服务器的场景。用户可以按双活Pair或一致性组为单位，设置其中一端阵列为优先站点，另一端为非优先站点，不需要额外部署仲裁服务器。该模式下，阵列间心跳中断时，优先站点仲裁胜利。

- 仲裁服务器模式

当存储阵列间心跳中断时，两端存储系统向仲裁服务器发起仲裁请求，由仲裁服务器综合判断哪端获胜。仲裁获胜的一方继续提供服务，另一方停止服务。仲裁服务器模式下把有优先获得仲裁的站点配置为优先站点。优先站点具有仲裁获胜的优先权，心跳中断但其它正常时，优先站点将获得仲裁胜利。

在仲裁服务器故障或与两端存储系统到仲裁服务器的链路全部故障，两端阵列间心跳正常的情况下，系统会自动切换到静态优先级模式进行仲裁。

5.2.2  连续数据保护实现原理

华为HyperCDP功能主要用于预防人为误操作和勒索病毒，支持最短3s一个快照，当中病毒时可以把业务恢复至中病毒之前的快照节点。通过采用华为HyperCDP技术对HIS业务Caché数据库进行数据保护，将原有需要软件命令进行备份的方式改为策略自主备份。通过测试与原有备份方式对比将备份窗口时间缩短300%。

华为OceanStor Dorado 18500 V6存储的快照基于ROW快照技术，快照创建后对源LUN性能无影响，其基本原理如下：

创建快照：快照创建激活后，会生成与源LUN一致的数据副本。此时，存储系统将源LUN的指针复制给快照，快照的指针指向源LUN数据的存储位置，即源LUN和快照的LBA相同。

源LUN写入数据：快照创建完成后，当应用服务器对源LUN有数据写入请求时，存储系统利用ROW技术将新写入的数据存放在存储池中新的位置，源LUN的指针更新，指向新数据的存放位置。快照的指针仍指向原始数据的存储位置，从而保存源LUN在快照创建时间点的数据。

![](/home/attachment/202203/07/1256137_164661724686446.png)
图5：无损快照原理

快照不但能够快速生成源LUN在某个时间点的一致性副本，还提供了快速恢复源LUN的机制。当源LUN的数据遭到人为意外删除、破坏或病毒入侵时，通过回滚可以快速将源LUN的数据恢复到快照时间点。

需要进行数据恢复时，在灾备管理平台上，选择该应用的细粒度副本，一键式即可完成生产数据的回滚恢复。如果数据在10:00被损坏，而首次恢复时并不确知时间点，选择了9:50的副本完成了生产数据恢复，登录系统后，发现恢复的时间点太早，用户也可以再次选择10:00的副本进行恢复，从而使数据恢复至一个最佳的时间点。

5.2.3  一键式灾备管理实现原理

方案提供的灾备管理平台软件BCManager，它是一款基于B/S架构的管理平台，通过浏览器访问进行管理，包含2个子系统， BCManager Agent、 BCManager Server：

- BCManager Agent安装在业务主机上，提供主机、应用的发现及应用数据一致性的保证和应用的恢复。

- BCManager Server安装在独立服务器上，提供整个容灾管理系统的配置、调度等业务功能。

![](/home/attachment/202203/07/1256137_164661725660540.png)
图6：BCManager灾备管理架构图

保护组的备份策略调度由BCManager Server触发，一旦BCManager Server故障或者与失联，备份任务将暂停。为了提高方案可靠性，BCManager Server要求HA集群部署，并将配置文件导出保存。一套BCManager支持管理多套存储阵列的灾备方案，无需为每一套灾备环境部署单独的BCManager管理平台。

管理平台部署完成后，管理员通过本地浏览器访问BCManager，将存储阵列和应用主机添加至资源中，然后为每个应用创建相应的保护组，一旦保护组被创建将会按照设定策略（如每半小时一次快照或启动一次复制）自动执行。自动执行保护时，应用数据的一致性快照副本或者一致性复制副本的实现原理如下：

1.  当快照或复制周期到来时，BCManager Server首先会通知BCManager Agent，Agent针对不同的应用对应用实施不同应用一致性策略，将应用首先置于一致性状态。

2.  BCManager Server通知存储进行快照或启动复制，从而保证生成应用一致性快照副本或一致性复制副本。

3.  当存储生成快照或启动复制后，BCManager Server立即通知BCManager Agent将应用从一致性状态还原为最初的状态。

- 实施与数据迁移

本次双活方案建设挑战重重，医院马上迎来百年院庆的重大时间节点，要在此之前完成方案部署，留给整个团队的时间十分有限，存在着技术挑战、时间挑战、团队协作的挑战。针对这些问题，采用华为OceanStor Dorado 18500 V6存储自带的存储异构虚拟化迁移功能，基于异构虚拟化的数据迁移方案可以将满足兼容性的第三方厂商的存储阵列产品上的业务数据迁移到华为新存储阵列产品上。利用异构虚拟化提供的增值特性，如LUN迁移，使得数据在源存储阵列和本端存储阵列之间进行快速的迁移，异构接管过程可采用在线接管和离线接管，数据复制过程中可保持业务在线运行。

![](/home/attachment/202203/07/1256137_164661727049578.png)
图7：设备异构和LUN迁移示意图

实施业务数据迁移，通过异构纳管和LUN迁移实施在线迁移，方案规划迁移步骤如下示例进行：

步骤1迁移前，I/O路径为“Windows 服务器主机—IBM源存储”。

步骤2 停止业务，将华为新存储产品（带有异构虚拟化增值特性及License）加入客户的应用系统中。连接方式由“Windows 服务器主机—IBM源存储”方式改为“Windows服务器主机—华为OceanStor Dorado新存储产品—IBM源存储”。在原始数据IBM阵列上将所属Windows服务器主机的LUN映射给华为Ocean Stor Dorado新存储产品，经由华为OceanStor Dorado新存储产品接管后再映射给Windows服务器主机。此操作需要中断客户业务系统，具体包括：

1. 物理链路连接

2. 光纤交换机划zone

3. 源存储上删除LUN到服务器的映射

4. 源存储上添加LUN到华为新存储产品的映射

5. 华为新存储产品上扫描发现源存储映射的LUN

6. 华为新存储产品上建立eDevLUN和LUN组

7. 华为新存储产品上建立主机组和主机，添加启动器

8. 华为新存储产品建立映射视图

9. 配置主机多路径

10. 服务器上发现华为新存储产品映射的LUN

11. 重新识别新存储数据，让业务应用从华为新存储产品启动运行

步骤3 将OceanStor Dorado V6上计划分配给服务器主机的LUN作为迁移的目标LUN，在华为OceanStor Dorado新存储产品中对源数据阵列IBM和华为OceanStor Dorado V6之间进行在线数据复制操作。

步骤4 确认阵列间数据复制完成后，断开源数据阵列IBM与华为OceanStor Dorado V6新存储产品的逻辑连接，由华为 OceanStor Dorado V6阵列对业务系统提供存储空间。

# 7．  建设效果与总结

- 核心业务连续性得到保障

随着医院信息化建设的发展，医疗应用的重要程度越来越高，一旦业务系统出现问题，将会对医疗活动产生重大影响。因此通过新建数据中心，将2个数据中心建成双活的站点，既可以为每个站点内部的应用提供冗余保护，实现站点内部的无缝漂移；又可以实现，当某个数据中心出现故障时，将该站点所有的应用系统，切换到另一个站点中，实现两个站点之间的应用故障迁移。最终满足，在不同场景下对业务连续性的要求。

- 提高基础资源利用率

通过虚拟化技术将原来占用物理机的业务整合到虚拟化云平台中，既满足了业务需求，节约了投资，又很好的提高了数据中心的利用率。

- 业务高可用性和可靠性得到保障

核心HIS&EMR和LIS系统均受到双活保护，配合交换机冗余和数据库自身的集群，当单套存储发生物理损坏、单台交换机故障、单台主机发生物理故障、单个中心发生灾难时，核心数据库均能保持业务零中断，保护医院业务正常开展，极大提升核心业务的可靠性。

- 保障数据安全性

CDM方案的连续数据保护同样使用快照实现，生产存储使用华为OceanStor Dorado V6存储时，具备该能力。使用该保护能力时，升级到最新的华为 OceanStor Dorado版本可以支持最小3秒间隔的连续数据保护能力，只要存储空间足够，可以保存多达200万个快照，实现数小时至数天内的连续数据保护，当数据被逻辑损坏时，可以将生产数据秒级恢复至指定的时间点。且可以反复选择任意一个连续保护副本进行恢复，无需担心选择了错误的时间点，而导致大量的数据丢失。针对医院核心HIS系统的Caché数据库应用，通过华为CDM中HyperCDP功能搭配备份一体机，优化院内原有备份方式，原有备份方式需要将Caché数据库进行短暂停机，执行LUN拷贝工作，再针对拷贝LUN进行备份，拷贝时间大约持续数小时。HyperCDP功能省去了拷贝过程，直接对Caché数据库LUN进行快照，基于快照进行备份将时间缩短至秒级，大幅提高备份效率，减少对业务的影像。核心系统整体性能提升

新一代全闪存存储华为OceanStor Dorado V6提供卓越性能、稳定可靠、融合高效的数据存储服务。华为OceanStor Dorado V6提供0.1ms稳定低时延减少I/O等待时间，有效降低HIS、EMR、LIS等在线交易类业务系统事务处理时延，消除就诊高峰期业务卡顿情况。同时，存储采用横向扩展架构提供可预测的线性增长性能，满足未来不可预期的业务增长。

华为高端全闪 OceanStor Dorado V6 OceanStor 数字化医院双活架构设计

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！