“服务器到不了货”——一次差点搞砸的系统部署,及实施团队的极限应变

“服务器还没到?”

信息科李主任的声音,让项目经理小张头皮发麻。

距离V4.0系统在XX医院正式上线,还有10天。

部署清单上,第一批要进场的设备:

– 数据库服务器 2台(高端,双路CPU)

– 应用服务器 3台(中端)

– 存储设备 1台(全闪存阵列)

– 网络交换机 1台

这些都还没到货。

供应商说:因为芯片短缺,交货期延迟三周。

“有没有替代方案?”李主任问。

“暂时没有。”小张硬着头皮说。原计划是全新硬件,软硬一体方案。

李主任摔了电话。

1. 部署方案被颠覆:从”搭新房子”变成”旧房改造”

小张连夜找周总商量。

周总也急了:”我们是软硬件一体方案,服务器都是定制配置,换其他品牌不行吗?”

“客户已经指定品牌了,合同里写了’原厂设备’。”

“那能不能先用云服务器过渡?”

“医院不允许数据上云,安全合规过不了。”

两人面面相觑。

原计划:

“`
新硬件到货 → 上架 → 装系统 → 装软件 → 测试 → 数据迁移 → 上线
“`

现在,第一步就卡住了。

周总说:”别慌,我们还有B计划。”

“什么B计划?”

“用现有设备升级——把V3.0的老服务器,扩容后跑V4.0。”

小张眼睛一亮。

但随即又摇头:”老服务器是五年前的配置,跑V4.0会不会太慢?而且,V3.0还在跑,不能停。”

“那就做虚拟化——老物理机上架虚拟化平台,再开虚拟机跑V4.0。”

“有风险…”

“但有总比没有强。”

2. 从”新建数据中心”到”旧房改造”:风险的维度

方案变了。

原来的”新建数据中心”变成”旧房改造”。

小张带着团队,做了三天的技术评估,结论是:

可以运行,但有风险:

1. 老硬件性能不足(CPU是五年前的E5-2620,V4.0推荐配置是E5-2680),V4.0是微服务,组件多,资源消耗大,预计性能打七折

2. V3.0还在跑,不能停机,迁移时要”热迁”或双跑——两个系统同时运行,隔离要求高

3. 老系统的数据迁移复杂,新旧系统数据结构差异大(V4.0重构了数据模型)

4. 老硬件稳定性堪忧(硬盘用了五年,有免保期,但随时可能坏),万一上线后崩了…

小张的评估报告里写:

> 建议:如果两周内新硬件到不了,再考虑此方案。否则建议延期。

但两周后新硬件也到不了——全球芯片短缺至少持续三个月。

周总拍板:”干。”

3. 部署前,我们做了”预演”:仿真环境的生死测试

小张知道,这次部署,无路可退。

他做了一件 normally 不会做的事:在全仿真环境,完整演练一遍部署流程

仿真环境,是用VMware搭的,配置尽量接近生产环境(虽然实际生产是老硬件)。

演练的内容:

1. 硬件上架(模拟)

2. 安装虚拟化平台(VMware ESXi 6.7)

3. 创建虚拟机网络(隔离V3.0和V4.0)

4. 部署V4.0所有微服务(18个)

5. 数据迁移(从V3.0到V4.0)

6. 验证业务功能

7. 切换流量

演练了三遍,发现一堆问题:

问题1:虚拟机网络配置错误

– V3.0和V4.0的虚拟网络,应该完全隔离(不同VLAN,无路由)

– 但配置时,有一个vSwitch连错了,导致两个虚拟网络互通

– 如果真这么部署,V4.0流量会冲击V3.0,导致老系统崩溃

问题2:数据迁移脚本性能不足

– 测试数据只有1/10(80万 vs 800万)

– 迁移100万条记录要30分钟

– 生产环境有800万条,要4小时

– 但业务窗口只有2小时(深夜到凌晨)

– 需要优化

问题3:回滚方案缺失

– 如果迁移一半失败,怎么回滚?

– 不能简单删V4.0数据库,因为V3.0还在跑,数据可能不一致

– 要有”双向数据同步”机制——迁移失败后,能回到V3.0状态

问题太多,小张头皮发麻。

第三遍演练,加了回滚。

4. 真正的部署日:如履薄冰的72小时

部署日,周五晚上。

小张带着四个工程师, arrive 信息科机房。

李主任也在,盯着看。

第一步:物理检查。

– 确认老服务器状态正常(5年没关机,但昨天剛做了硬件诊断,OK)

– 确认网络连通

– 确认UPS供电正常(电压稳定)

第二步:安装虚拟化平台。

– 在每台服务器上装ESXi(旧版本)

– 配置vCenter统一管理

– 创建资源池:一半给V3.0(不能动),一半给V4.0(新建)

– 这一步花了两个小时。服务器老旧,安装速度比预期慢。

第三步:网络隔离。

– 创建两个vSwitch,一个连V3.0虚拟机,一个连V4.0虚拟机

– 两个vSwitch之间不通,防火墙策略确认

发现:有一个端口组配置错了,导致V4.0的某个管理网卡能ping通V3.0——危险,修正。

第四步:部署V4.0微服务。

– 有20多个微服务,每个都要部署、配置、启动

– 用Ansible自动化部署,但老服务器性能差,Ansible执行慢

– 遇到一个服务启动失败:MySQL连接超时。因为数据库还没迁完,但应用已经起来在连数据库。

“能不能调整启动顺序,先起数据库,后起应用?”工程师问。

“调整,数据库服务设为’启动后30秒再启动应用’。”

第五步:数据迁移。

这是最关键、风险最大的一步。

开始迁移。

前两个模块(用户、权限)顺利。

第三个模块(门诊挂号),出现数据冲突:

– V3.0有一个挂号记录,患者ID为12345,就诊ID为abc

– V4.0里,患者ID变了(新的患者表主键重新生成,使用UUID),但V3.0数据里还是老ID(自增整数)

– 迁移时,映射关系找不到

“停。”小张喊。

问题出在”患者ID映射表”——这个表在迁移过程中生成,但因为某个中间步骤数据量大(800万条),内存不足,没生成全。

部分患者,在新库里的ID映射丢失了。

“现场生成映射。”小吴说。

他写了一个脚本,根据姓名、身份证号、就诊日期,去V3.0里查,生成映射关系。

又花了40分钟。

此时已是凌晨四点。

5. 凌晨五点的抉择:强行”双跑”

迁移到早上五点,进度85%。

还剩核心模块:医嘱、住院登记、收费。

但时间只剩一小时了——七点门诊要开始。

小吴说:”来不及了。”

小张知道,来不及了。

他做了个冒险的决定:强行切换,不迁完

“把医嘱、住院、收费模块的迁移,放到上线后做渐进式迁移。”

意思是:上线时,这几个模块用V3.0的数据,但V4.0的服务也起来,V3.0和V4.0并行运行,V4.0慢慢接数据。

这是个”双跑”方案,风险高,但没别的选择。

他给李主任打电话:”李主任,我们方案有变。核心模块不能一次性迁完,要分两天。但门诊可以先开V4.0,不影响。”

李主任语气很冲:”你敢在上线日不迁完?”

“迁不完硬迁,数据错了更麻烦。”小张说,”双跑是唯一选择。”

李主任沉默几秒:”出问题你负责。”

七点,门诊开始。

小张紧张地盯着监控。

挂号正常(V4.0)、医生开医嘱正常(V3.0)、护士执行正常(V3.0)——V3.0和V4.0在共存。

“这也能行?”李主任惊了。

“临时方案,风险是数据不一致。但至少门诊没堵。”

6. 上线后48小时:在”拆炸弹”

小张知道,双跑方案是把达摩克利斯之剑悬在头上。

V3.0和V4.0的数据,必须尽快合并,不能长期双跑。

但合并不简单:有些数据在V4.0产生(如挂号),有些在V3.0产生(如医嘱),要保证合并后不丢、不错。

小张团队用了48小时,做”渐进式整合”:

– 第一天,把V4.0已经有的数据,合并回V3.0(作为备份)

– 第二天,所有新产生的业务,强制使用V4.0,V3.0只读

– 第三天,停V3.0,全部切到V4.0

每一步都有验证。

周一早上,全部完成。

系统终于”单飞”了。

李主任问小张:”这次部署,虽然惊险,但最后成功了。关键是什么?”

7. 小张的复盘:没有完美的计划,但有充分的预案

小张说:”没有完美的计划,但有充分的预案。”

– 我们有B计划(旧硬件升级),不然第一天就卡死

– 我们有仿真演练,不然网络配置会错

– 我们有回滚预案,不然迁移一半失败就完了

– 我们有”双跑”应急方案,不然上线日就崩了

“但最关键的,是敢于’不完美’上线。”

“什么意思?”

“我们原计划是100%数据迁完再切换。但时间不允许,我们选择了85%+双跑方案。”

“虽然不完美,但业务没受影响——门诊能挂号,医生能开医嘱,药房能发药。”

“如果死磕100%完美,可能拖到下午才能上线,影响更大。”

有时候,接受”可用但不完美”,比追求”完美但不可用”,更重要。

8. 周总的总结:系统稳定性是”冗余”堆出来的

老周后来总结这次部署:

– 硬件不靠谱(老服务器),就用软件方案补(虚拟化、双跑)

– 时间不够(10天),就用策略补(分阶段上线)

– 数据不一致风险,就用验证补(每步验证)

– 人员紧张,就用预案补(演练)

(“系统稳定性,不是’设计出来’的,是’冗余出来的”)

冗余不仅是硬件冗余,更是方案冗余、时间冗余、人力冗余。

没有B计划的部署,是赌博。

有B计划,哪怕B计划看起来不完美,也能保底。

9. 这次部署的”五个教训”

老周把这次经历写成案例,给公司所有实施人员培训:

教训一:永远要有B计划

– 硬件不靠谱,怎么办?

– 时间不够,怎么办?

– 人员生病,怎么办?

教训二:仿真演练不能省

– 这次发现的问题,如果在生产环境才发现,就是灾难

– 演练不是”走过场”,是”找问题”

– 演练一遍不够,要演练三遍

教训三:接受”不完美”的上线

– 不是所有功能一次搞定

– 分阶段上线,保证核心业务先跑

– “可用”优先于”完美”

教训四:回滚方案必须提前测试

– 不能光有计划,要演练回滚

– 回滚失败比不迁更糟

教训五:客户沟通要透明

– 小张一开始没告诉李主任”85%方案”,差点被骂

– 后来说明了,李主任理解了

– 透明能降低客户焦虑

10. 给所有实施人员的建议:预案做到极致

最后,老周说:

“实施工作,本质上是在’不确定性中寻找确定性’。”

– 时间不确定(会不会延迟?)

– 资源不确定(人手够不够?)

– 客户态度不确定(验收会不会卡?)

– 环境不确定(网络通不通?)

我们能做的,就是把确定性做到极致

– 预案做全

– 演练做实

– 沟通做透

– 方案做细

“这次部署,我们准备了一份70页的部署手册,但只用上了20页。那50页是’可能用不上’的预案。”

“但真出事时,那50页,救了我们。”

互动话题

你经历过最惊险的一次系统部署/上线是什么情况?最后是怎么挺过来的?

> 基于真实医院场景改编,人物均为化名


立即免费试用门诊系统https://app.kmhis.com/
International Versionhttps://app.kmhis.com/multi/
了解软佳门诊管理系统详情https://www.kmhis.com/outpatient-management-system.html


扫码预约

手机扫码试用患者预约。请勿输入个人真实信息(点击图片可查看原图)

支持8种语言:简体中文、繁体中文、香港中文、English、藏文、泰文、老挝语、越南语


说真的。这类问题我见过太多了。每次看到医院同事为选型头疼。我就想,要是早点有人把这些经验分享出来就好了。毕竟。选择不对。后面全是麻烦。选择对了。省心省力。还能提升整个机构的运行效率。希望这篇能帮到正在纠结的你。

你如果有具体需求。也可以去 www.kmhis.com 看看。那里有更详细的技术方案和案例。

真停电了:那次”演练成真”的72小时与灾备系统的终极考验

凌晨两点,XX医院。

主数据中心机房,突然停电。

不是演练,是真的——市电故障,加上UPS电池老化(三年没检测),未能及时切换到电池供电。

整个医院HIS系统,在零点17分,瞬间离线。

门诊挂号停摆,住院系统失联,药房发不了药,检验科做不了标本,急诊科只能手工记录。

值班工程师小吴发现异常,两分钟后,给老周打电话。

老周从床上跳起来,一边穿衣服一边想:四个月前的那次灾备演练,终于派上用场了

那是去年12月的灾备演练,当时切换失败,备用数据中心检测不到,手动切换功能也没有。那次演练,暴露了三个问题。

这四个月,他们一直在整改。

而今天,真停电了。

1. 第一反应:不是”抢修”,是”切换”

老周在电话里问小吴:”主数据中心完全断电了吗?”

“是的,所有设备都断电了。UPS也耗光了。”

“备用数据中心呢?”

“还没检测到,我们在手动查。”

“用应急手动切换U盾!”老周吼道。

他记得四个月前那次教训——不能依赖自动切换。万一自动切换失败,必须有人工手段。

小吴跑向机房,从保险柜里取出那个黑色的U盾,插入备用数据中心的控制台。

手动切换流程,在预案里写得清清楚楚:

1. 登录备用数据中心管理后台

2. 点击”紧急接管”按钮

3. 确认切换(会强制把负载均衡指向备用数据中心)

4. 验证业务状态

小吴的手有点抖。他虽然是工程师,但这是第一次”实战切换”——不是演练,是真停电了。

点击”紧急接管”。

系统提示:”接管成功,预计30秒内生效。”

他盯着负载均衡的实时状态:

– 主数据中心IP:离线

– 备用数据中心IP:生效(绿色)

30秒后,护士站的小张刷新页面,看到系统回来了。

“能用了!”小张喊。

2. 切换后,数据一致吗?——那个0.02%的差异

老周赶到医院时,已经是凌晨三点。

信息科李主任在机房外走来走去,神色焦虑。

“周总,数据有没有丢?我们最怕这个。”

老周没直接回答,而是问:”切换后,有没有医生报错?”

“暂时没听说,但这才切换了不到一小时…”

老周打开备用数据中心的监控面板。

灾备系统的设计,是主数据中心实时同步数据到备用数据中心(异步 replication,延迟1-3秒)。理论上,数据应该是”零丢失”——主数据中心断电前最后的事务,应该已经同步到备用。

但他查数据对比:用脚本比对主库最后一次备份(昨晚00:00)和备用库当前数据,差异率是0.02%。

那0.02%是什么?

是断电前30秒内产生的数据——因为同步延迟,这部分还在主数据中心的内存里,没来得及写磁盘,就断电了。

切换后,这部分数据永久丢失了。

“有多少数据?”

“正在估算。挂号、医嘱、收费…大概几百条。”

李主任脸色变了:”几百条?”

“主要是挂号记录。”老周说,”如果病人在断电前刚挂上号,但还没缴费,数据丢失,他们会以为挂上了,但实际上没挂上。这会引发纠纷。”

李主任:”那怎么办?”

“我们有个预案:断电恢复后,主数据中心重启,会尝试从备用库同步回主库。如果同步成功,数据能补回一部分。但如果是事务中途断电,可能补不回来。”

老周决定:不等了,现在就去主数据中心,尝试恢复

3. 主数据中心恢复:希望与绝望交织

早上五点半,市电恢复。

主数据中心可以通电了。

老周和李主任,带着运维团队,在主数据中心机房。

设备一台台启动:

– 网络设备

– 存储设备

– 数据库服务器

七点,数据库启动成功。

启动后的第一件事:尝试从备用数据中心,同步回主数据中心的数据。

同步开始。

但同步报错:主库的某些数据,已经被断电前的事务部分修改过,和备用库的版本冲突。

数据库自动冲突解决机制,选择了”以主库为准”——意味着主库的数据会覆盖备用库。

问题是:主库断电前的数据,本身就是不完整的(内存中的数据没持久化)。

这可能导致:备用库里有的数据,主库里因为断电前部分事务已经提交,反而”多”了一些数据;或者反过来,”少”了一些数据。

手动检查发现:

– 有大约200条记录,主库有、备用库没有(备用库没收到)

– 有大约150条记录,备用库有、主库没有(主库内存丢失)

“这怎么搞?”李主任快要崩溃了。

老周说:”我们只能手工对比,确保一致性。”

他们制定了手动对账流程:

1. 导出主库的今日所有业务记录(时间范围:断电前24小时)

2. 导出备用库的同时间记录

3. 对比关键业务:挂号、住院登记、医嘱、收费

4. 发现差异,人工核查(查看业务日志、纸质记录)

5. 对无法确定的差异,标记为”待调查”,业务上补偿(比如给病人重新挂号)

这个流程,花了整整一天,八个人同时核对。

到晚上八点,对账完成:

– 挂号差异:37条,已人工补录

– 住院登记差异:5条,已补录

– 医嘱差异:0条(医嘱还没有产生,或已同步)

– 收费差异:12条,已财务手工调账

“业务基本恢复。”老周说,”但今天的数据,还有一部分在备用库,没同步回主库。明天早上还要做增量同步。”

李主任松了口气。

4. 事故分析:暴露了多少问题?

事故后第三天,老周主持了深度复盘。

参会者:软佳团队、信息科全体、医院领导。

发现的问题清单 (根本原因分析,5 Whys):

问题1:UPS电池老化,没有定期检测

– 为什么?——电池检测制度是”每半年一次”,但去年只做了一次

– 为什么没做?——没人跟踪执行

– 为什么没人跟踪?——运维清单不完整

问题2:主数据中心断电后,没有及时通知备用数据中心”已失去主中心”

– 备用数据中心靠心跳检测主中心状态,心跳没断(网络还通着,因为网络设备有UPS),所以备用中心不知道主中心已经断电

– 切换依赖”主中心故障+心跳丢失”双条件,但这次是主中心断电但网络设备还活着(有UPS),心跳没丢

手动切换救了命

问题3:数据同步延迟导致丢失

– 同步是异步的,延迟1-3秒

– 这1-3秒的数据,断电就丢了

– 要达到”零丢失”,必须用同步复制(但会影响性能,降低吞吐量30%)

问题4:主中心恢复后,数据冲突解决机制不合理

– 默认”以主库为准”,但主库断电是不正常状态

– 应该优先以备用库为准,因为备用是正常状态

– 应该在切换前记录”最后一致时间戳”,恢复时根据时间戳判断

问题5:没有”业务快速恢复”预案

– 数据不一致时,业务不知道怎么办

– 应该像银行一样,有”业务补偿流程”:数据不一致时,如何快速让病人看上病、用上药

5. 系统性整改:从”能切换”到”切换后业务无感”

老周和信息科一起,制定了整改计划,投入80万。

1. 基础设施升级(预算40万)

– UPS电池全部更换,半年检测制度(写进SOP)

– 主数据中心增加柴油发电机(支持8小时)

– 备用数据中心增加独立市电接入(双路市电)

– 增加环境监控(温湿度、漏水、门禁)

2. 灾备切换机制优化(预算15万)

– 心跳检测增加”电力状态”监控——如果主数据中心电力丢失,不管网络通不通,立即切换

– 增加”一键切换”按钮,贴在所有关键岗位墙上(物理按钮,防误操作)

– 每季度演练一次手动切换(真断电,不只是模拟)

3. 数据同步优化(预算10万)

– 评估”同步复制”可行性(可能性能下降20%,但保证零丢失)——决定保留异步,但优化

– 增加”断电前最后60秒日志缓存”,主中心断电前,把最后的事务先写入共享存储(SAN),备用中心可以先读这个

– 增加”切换点标记”,每次切换记录时间点,便于恢复

4. 主备恢复流程标准化(预算5万)

– 主中心恢复后,数据同步策略改为”以备用库为准”

– 对账流程自动化(每天凌晨自动比对核心业务数据)

– 差异处理流程文档化,包括业务补偿标准

5. 业务连续性保障(预算10万)

– 最坏情况预案:数据完全无法恢复,如何手工恢复业务?

– 方案:启用”应急纸质表单”,所有业务先手工登记,系统恢复后补录

– 这个方案要提前告知临床科室,让他们有心理准备

– 对医护人员进行”应急模式”培训

6. 一个月后,再次演练:从70分到95分

整改完成后,老周组织了”全真演练”。

这次,他们模拟的场景是:主数据中心断电且断网(比上次更难)。

发现的新问题:

– 备用数据中心启动时间比预期长(15分钟 vs 目标5分钟)——因为存储阵列自检慢

– 业务验证脚本跑不通(有些功能依赖主数据中心的环境变量,没考虑到)

– 切换后,财务科发现”当日收入统计”不准(因为数据延迟,部分收入不在统计窗口内)

继续改。

第二次演练,完美。

老周给信息科的评分:从70分提升到95分。

李主任说:”现在我们不怕停电了,就怕不演练。”

7. 杨院长的话:选择合作伙伴,不是选价格,是选关键时刻靠得住

事故后一个月,杨院长在一次全院大会上说:

“信息系统,是我们医院的神经系统。这个神经系统,不能只有一个大脑,要有备份。这次停电,我们见识了备份的价值。

但更重要的是,我们见识了我们的信息科和软佳团队的专业和负责。凌晨三点,周总带着人赶到医院;四十八小时,没睡过一个整觉;对账、补数据、恢复业务…

选择合作伙伴,不是选价格最便宜的,是选关键时刻靠得住的。”

周总坐在台下,没说话,但记住了这句话。

8. 灾备的”本质”:不是”有”,是”能用”

老周后来在多个场合分享这次经历。

他的核心观点:

灾备系统,不是”买一个放在那里”就行,而是要让它”用过”。

只有演练过,才知道切换按钮在哪里;只有演练过,才知道数据对账流程有多复杂;只有演练过,才知道业务部门需要什么预案。

“很多单位,灾备系统建好了,五年没启用过,美其名曰’系统稳定,没机会用’。但真出事的时候,发现这也不会、那也不熟,灾备系统等于没有。”

灾备的价值,不在于备用,在于能用。

软佳现在的做法:

– 每季度一次真刀真枪的演练(部分业务切换到备用中心,半小时后再切回)

– 每年一次全站演练(主中心完全断电)

– 每次演练后写报告,改进流程

客户一开始嫌麻烦,现在主动要求演练——因为他们 seeing 了价值。

9. 灾备的”成本”与”风险”权衡

有客户问老周:”灾备这么贵(软佳的灾备方案加价30%),值吗?”

老周反问:”你们醫院一年营业额多少?”

“大概10亿。”

“如果系统瘫痪三天,损失多少?”

客户算了算:门诊停三天,损失至少3000万。还不算声誉损失、病人流失、卫健委处罚。

“灾备花300万,保3000万,值吗?”

客户不说话了。

“而且,灾备不是’一次投入’,是持续投入——每年演练、每年升级、每年测试。”

“但比起系统瘫痪的代价,还是划算的。”

10. 给所有技术负责人的建议:不要等出事才后悔

老周最后的总结:

① 灾备不是选择题,是必答题

– 只要系统在生产环境运行,就必须有灾备

– 特别是医疗、金融、政务系统,不能承受数据丢失

② 灾备的”可用性”比”存在”更重要

– 有灾备但不演练 = 没有

– 定期演练,确保切换按钮有人会按、流程有人懂

③ 灾备要有”业务视角”

– 不是”数据能恢复”就行,是”业务能继续”

– 要有业务补偿方案(手工登记、应急表单)

– 要让临床科室参与演练

④ 灾备的”成本”是投资,不是开销

– 一次事故的损失,可能超过十年灾备投入

– 保险思维:小额确定性支出,对冲大额不确定性损失

互动话题

你的系统有灾备吗?演练过吗?实战用过吗?

> 基于真实医院场景改编,人物均为化名


立即免费试用门诊系统https://app.kmhis.com/
International Versionhttps://app.kmhis.com/multi/
了解软佳门诊管理系统详情https://www.kmhis.com/outpatient-management-system.html


扫码预约

手机扫码试用患者预约。请勿输入个人真实信息(点击图片可查看原图)

支持8种语言:简体中文、繁体中文、香港中文、English、藏文、泰文、老挝语、越南语


说真的。这类问题我见过太多了。每次看到医院同事为选型头疼。我就想,要是早点有人把这些经验分享出来就好了。毕竟。选择不对。后面全是麻烦。选择对了。省心省力。还能提升整个机构的运行效率。希望这篇能帮到正在纠结的你。

你如果有具体需求。也可以去 www.kmhis.com 看看。那里有更详细的技术方案和案例。

“幽灵”进程的幽灵:一场由”沉默杀手”引发的系统危机

上午十点半,门诊高峰时段。

XX省第一人民医院的门诊系统开始”莫名其妙”地变慢——不是全瘫,而是”一点点往下沉”:刚开始挂号响应从2秒变成5秒,人们还能接受;半小时后变成15秒,开始有患者抱怨;一小时后变成30秒以上,缴费窗口前排起了长队,护士们在喊”系统太卡了”。

李主任在看监控:CPU使用了45%,内存还有60%可用,网络流量正常,数据库连接池使用率55%——所有指标都在安全范围内。但系统就是越用越慢,像是一辆在平路上慢慢失去动力的车。

1. 指标正常,但业务异常:最诡异的故障

“重启试试?”有人提议。

“不行,”李主任摇头,”现在是高峰,重启会导致所有正在办理的业务中断,患者会更不满。先查原因。”

这个决定很关键。如果当时选择了重启,问题可能暂时消失,但那个”幽灵”会继续存在,下次以更猛烈的方式爆发。

老林建议从进程层面入手。他们用top命令查看系统进程,发现了一个奇怪的进程:java -jar /opt/his/tmp/cleanup.jar,这个进程的CPU占用率只有0.3%,但VIRT(虚拟内存)高达2GB,RES(物理内存)也有800MB,而且已经运行了超过48小时。

“这个进程是干什么的?”李主任问。

小张回忆起来:这是两周前部署的一个”临时清理脚本”,用于清理临时文件。当时 supposed 是运行一次就退出,但似乎它变成了常驻进程。

他们进一步检查这个进程的打开文件:lsof -p ,发现它打开了一个数据库连接,而且这个连接的状态是”Sleep”,但时间已经超过48小时。

“就是这个’ninja’进程,”老林说,”它占着一个数据库连接不放,而且因为它持续存在,连接池的其他连接被它慢慢挤占。”

但仅仅这一个连接,不至于把连接池全部占满。小吴继续排查,又发现了多个类似的”僵尸进程”:有的已经死亡但父进程没回收(orphaned zombie),有的自己创建了大量线程但从未释放,有的在等待某个永远不来的网络响应(I/O wait)。

2. 清理僵尸:一场高风险的手术

“我们必须清理这些僵尸进程,”李主任说,”但不能影响正在进行的业务。”

他们制定了一个计划:

1. 识别所有空闲超过30分钟的数据库连接

2. 找出这些连接关联的进程

3. 对于确认是僵尸的进程,先尝试优雅终止(SIGTERM),如果10秒内不退出,再强制终止(SIGKILL)

4. 清理后密切观察业务日志,确保没有数据丢失或不一致

第一步,他们用SQL查询了数据库的进程列表:

“`sql
SELECT id, user, host, db, command, time, state
FROM information_schema.processlist
WHERE time > 1800 AND command != ‘Sleep’ OR state = ‘Sleep’ AND time > 1800;
“`

(注:此处为示意逻辑,实际更复杂)

结果发现了80多个超时会话。他们逐一对每个会话对应的应用服务器进程进行标记。

小吴编写了一个自动化脚本:

1. 获取所有空闲超过30分钟的数据库连接ID

2. 通过连接信息反查应用服务器上的进程ID

3. 对进程进行优雅终止,等待10秒

4. 如果进程仍在,强制终止

5. 记录清理日志

脚本运行前,李主任要求:”每清理5个连接,就检查一次业务日志,确保没有异常。”

清理开始。前5个连接顺利清理,无异常。10个、15个、20个… 系统响应时间慢慢改善,从30秒降到了18秒。

但清理到第35个时,系统再次出现短暂闪退——所有页面白屏约15秒。

“停!”李主任喊道。

他们检查发现,这个连接关联的是一个正在执行批量数据同步的任务。虽然这个任务已经”空闲”了35分钟,但它处于一个事务中,一旦强制终止,会导致数据同步中断,部分数据不一致。

“我们不能只看’空闲时间’,”老林说,”还要看当前事务状态。”

他们调整了清理策略:只清理那些”不在活动事务中”的空闲连接。

调整后,清理继续。这次顺利多了。下午一点,清理完成,系统响应时间稳定在4秒以内。但李主任心里明白,这只是临时解决了资源占用问题,那个”幽灵”的制造者——那些不该存在的僵尸进程——是怎么来的,才是根本。

3. 为什么会有僵尸进程?

下午业务低峰期,技术团队开始了根因分析。

第一个发现:应用程序异常处理不当

他们检查了那个cleanup.jar的源码( decompiled ),发现它在捕获到InterruptedException后,只是简单return,没有真正关闭数据库连接和线程资源。这个jar包是由一个外包团队写的,上线时没有做代码评审。

第二个发现:线程池配置不合理

应用服务器的线程池配置是默认值:核心线程数10,最大线程数200,队列容量1000。在门诊高峰,请求并发达到1500时,线程池会创建大量线程来处理,但这些线程在任务完成后不会立即销毁(核心线程不销毁),导致线程数慢慢积累到200的上限。而这些线程如果因为某种原因阻塞,就会变成”僵尸线程”。

第三个发现:数据库连接泄漏

某些业务代码中,数据库连接获取后,在异常分支里没有正确释放。正常情况下,连接会随着方法结束自动关闭(try-with-resources),但一旦发生异常跳过close语句,连接就”悬空”了。

第四个发现:监控盲区

“我们一直以为连接池使用率55%是安全的,”李主任看着监控图表,”但55%指的是’已分配连接’,不包括’僵尸连接’。如果僵尸连接占用了30%,实际可用连接只有25%,早就该告警了。”

老林补充:”我们的监控只采集了’连接池使用率’这个指标,没有采集’活跃连接率’和’空闲超时连接率’。这就是为什么所有指标正常,但业务已经卡住。”

4. 系统性整改:从被动灭火到主动预防

当晚,李主任主持了故障复盘会。他定了三个整改方向:

第一,建立连接泄漏检测机制

在数据库层面,开启performance_schema,监控长时间未关闭的连接。对于超过30分钟的空闲连接,自动记录堆栈信息并告警。这样,即使发生泄漏,也能在影响业务前发现。

同时,应用层面增加连接池的abandoned回收机制:如果一个连接被借出超过10分钟未归还,强制回收并记录日志。虽然强制回收可能导致该连接的业务失败,但比整个系统拖垮要好。

第二,规范进程生命周期管理

所有后台任务进程必须有明确的启动、停止、监控机制。现在,他们要求:

– 任何后台任务必须打包为systemd service,有明确的ExecStart、ExecStop、Restart策略

– service文件必须包含TimeoutStopSec=30,防止进程拒绝退出

– 所有服务必须提供健康检查接口,供监控系统探测

– 禁止使用”nohup java -jar”这种原始方式启动服务

那个运行了48小时的cleanup.jar,就是因为没有systemd管理,一旦启动就不知道如何停止,只能手动kill。

第三,优化线程池配置和监控

根据业务高峰的并发量(约1500),他们将线程池参数调整为:

– corePoolSize=50(避免线程数过少导致排队)

– maxPoolSize=300(允许弹性扩容)

– queueCapacity=1000(缓冲队列)

– keepAliveTime=60(空闲线程60秒后销毁)

同时,增加线程池监控指标:

– 活跃线程数

– 队列等待数

– 任务完成总数

– 拒绝任务数

这些指标接入现有监控系统,设置阈值告警。

第四,强化代码审查和异常处理规范

所有生产环境部署的代码,必须经过至少一人代码审查,重点审查:

– 资源释放(数据库连接、文件句柄、线程)是否在所有异常路径都能正确关闭

– 是否使用了try-with-resources或类似机制

– 线程池任务是否有超时设置

– 是否有无限循环风险

此外,统一异常处理规范:捕获异常后,必须记录日志(包括堆栈),必须确保资源释放,必须考虑是否需要向上传递。

5. 一个月后:系统稳定运行

整改后的一周内,他们又发现了两起潜在的连接泄漏——都被自动检测机制捕获并及时处理。一个月后,系统没有出现类似的”缓慢失能”故障。

李主任在月度运维会议上说:”这次故障给我们上了一课。它告诉我们,指标正常不代表系统健康。我们需要监控的不仅仅是CPU、内存这些’传统指标’,更要监控’业务健康度’——比如平均响应时间、错误率、吞吐量。”

他还提出了一个概念:”运维的黄金法则是’在用户感知之前发现问题’。当患者开始抱怨’系统卡’时,其实问题已经存在一段时间了。我们的目标是通过精细监控,让系统在用户感知到异常之前,就自动修复或至少自动告警。”

软佳的客户成功经理在回访时,对这次整改给予了高度评价。她说:”我们服务过上百家医院,XX医院这次故障的复盘深度和整改力度,是前三的水平。很多医院故障后只修bug,不建流程,结果同类问题反复发生。”

6. 给运维人员的建议

老林在内部培训中,总结了”僵尸进程防御三原则”:

原则一:资源必须有归属

每个数据库连接、每个线程、每个文件句柄,都必须有明确的创建者、所有者、销毁时机。不能让它”自然死亡”,必须”主动回收”。

原则二:监控要看趋势,看质量

不要只看”总量是否超过阈值”,要看”活跃占比”、”空闲时长分布”、”异常增长趋势”。一个指标从20%升到45%,虽然没到80%的告警线,但趋势已经说明问题。

原则三:应急要有章法,根治要有流程

遇到故障,先按预案处理恢复业务;恢复后必须进行根因分析,找到流程漏洞;然后整改流程,防止同类问题再发生。不能”好了伤疤忘了疼”。

互动话题

你们医院有没有遇到过”监控正常但业务异常”的情况?是怎么发现并解决的?你觉得最应该监控哪些”非传统”指标来预防这类问题?欢迎在评论区分享你的运维实战经验。

> 基于真实医院场景改编,人物均为化名


立即免费试用门诊系统https://app.kmhis.com/
International Versionhttps://app.kmhis.com/multi/
了解软佳门诊管理系统详情https://www.kmhis.com/outpatient-management-system.html


扫码预约

手机扫码试用患者预约。请勿输入个人真实信息(点击图片可查看原图)

支持8种语言:简体中文、繁体中文、香港中文、English、藏文、泰文、老挝语、越南语


说真的。这类问题我见过太多了。每次看到医院同事为选型头疼。我就想,要是早点有人把这些经验分享出来就好了。毕竟。选择不对。后面全是麻烦。选择对了。省心省力。还能提升整个机构的运行效率。希望这篇能帮到正在纠结的你。

你如果有具体需求。也可以去 www.kmhis.com 看看。那里有更详细的技术方案和案例。