药房里的50万”睡美人”:一位药剂师的库存觉醒之路

上午10点,湖南长沙XX区中医院药房里弥漫着一股混合着中药和消毒水的气味。冯主任站在高耸的药架前,眉头紧锁,手里攥着昨天刚打印的库存报表——那张纸上,红笔标注的差异金额赫然写着:本月已盘出18万元差异

她快步走过ABCD四个药架,手指在玻璃隔板上敲出有节奏的声响。眼前这片价值近50万元的药品,有些是她三个月前进的,外包装还簇新;有些是半年前的,纸盒边缘已经泛黄卷曲;更角落里,一整箱维生素C片积了薄薄一层灰,标签上的有效期是三个月前。

“冯主任,阿莫西林胶囊只剩3盒了!”年轻的药师小陈跑过来,手里拿着空药盒,”但台账显示应该有50盒!”

冯主任心头一紧,快步走到电脑前,屏幕上的库存管理系统闪烁着她熟悉的红色预警。她手指在键盘上飞舞,调出入库记录——3月12日入库50盒,3月15日出库40盒,之后…再没记录。”那10盒哪里去了?”她自言自语,额头上沁出汗珠。

同一时刻,仓库角落里,两位实习生在清理过期药品,惊讶地发现:”冯主任!这里有一箱25盒的布洛芬,有效期到上个月!我们居然还在用!”

冯主任深吸一口气,走回药架中央,声音干涩地对来访的同行说:”我们药房就像一个睡美人——一半的药品在沉睡,根本找不到、用不上;另一半又在喊饿,该用的永远没货。”

这正是她们每天面对的荒诞:该有的没有,不该有的堆成山。80平米的药房,800多种药品,日均门诊300+,靠着人工、经验、纸质台账运转。每个月底的盘点日,是全体药师的噩梦——差异、损耗、过期,像潮水般涌来。

冯主任今年42岁,干药剂师20年。三年前调任这家社区医院药房主任时,她信心满满。但很快,现实给了她一记闷棍。

每月最后一周的周五,是她们最害怕的日子——盘点。

“上个月又盘出18万差异。”冯主任在院务会上汇报,”有的药账面有20盒,实际只剩2盒;有的以为没了,结果角落找出30盒。”

院长问:”为什么不能实时知道库存?”

冯主任想说”因为我们手工记账”,但话到嘴边又咽了回去。她知道,院长想问的是”为什么不用系统”,但系统问题,一言难尽。

她们确实有系统——一台老式的单机版药房管理软件,2015年买的,5000元买断。功能极其简单:录入、出库、查询。没有实时同步、没有智能预警、没有效期管理。

更糟糕的是,这个系统和门诊挂号系统、医生工作站是分离的。医生开了处方,药房收不到通知;收费处收了钱,药房不知道;患者来取药,她们要从处方堆里一张张找。

“我们就像在没有雷达的海域航行。”冯主任说。

问题的爆发是从一次”紧急事件”开始的。

周二下午3点,一位老年患者拿着处方来取阿司匹林肠溶片。冯主任在药架找了10分钟,没找到。她问药师小陈:”阿司匹林还有吗?”

小陈查了台账:”有20盒。”

“但架子上没有!”冯主任急了。

最后在仓库角落里找到——上周三到的货,忘了上架。

患者等了25分钟,很不满。投诉到医院客服中心。

这件事成了导火索。院长下了死命令:”冯主任,两个月内,必须解决药房管理混乱的问题。否则,换人。”

冯主任压力巨大。她知道,这不是她一个人的问题。整个药房的运作方式是原始的:

– 补货靠经验:李姐觉得该进了就叫货,结果常进多或进少

– 效期靠眼睛:每周翻看一遍,标记近效期,但常漏掉

– 库存靠盘:每月一次大盘点,日常账实不符是常态

– 信息靠吼:医生开处方不知道药房有没有,患者来取药不知道要等多久

“如果我们是一家小诊所,一两百种药,手工也可以。”冯主任对团队说,”但现在我们有800+种药品,每天接诊300+患者,这套方法行不通了。”

她开始关注行业动态。在一篇行业文章里,她看到”软佳门诊管理系统”的药房模块介绍:实时库存、智能补货、效期预警、近效期优先发药。

心动吗?心动。但也被现实浇过冷水。

副院长老刘说:”市面上系统多了,买断的、定制的,哪个不要3-5万?我们哪有钱?”

信息科王主任泼冷水:”就算买了系统,和现有挂号、医生工作站能打通吗?还不是数据孤岛?”

冯主任没有退缩。她花了一个月,调研了6家使用不同系统的医院,包括两家使用软佳的——一家在云南,一家在江苏。

调研结果让她震惊:软佳系统的年费仅1898元,包含全部功能、更新、技术支持;而且它是一体化门诊管理,药房模块和挂号、医生、收费都是同一套数据库,实时同步。

“这个价格,还没我们一年进药的零头。”冯主任在院务会上说。

院长也心动了,但仍有顾虑:”能先试用吗?”

软佳销售小陈答复:可以免费试用1个月。

试用期前两周,是痛苦的适应期。

冯主任自己先学了3天。界面比她想象中简单:登录后,主屏就是药品库存看板,缺货标红、近效期标黄。

但老药师们的抵触超出了预期。

“我这辈子没用过电脑,学不会!”58岁的林师傅态度强硬。

“系统能知道我什么时候该进什么药吗?还不是要我们自己判断?”李姐疑虑重重。

“万一系统出错,谁负责?”年轻药师小周担心背锅。

冯主任没辙,只能硬着头皮上。她请小陈做了一次全员培训,然后规定:必须用系统操作,没有退路

头三天,手忙脚乱:

– 发药时找不到药品编码,要翻半天字典

– 系统卡顿,有时要刷新

– 有药师忘记扫码出库,库存对不上

但到第五天,好处开始显现:

– 处方来了,药房屏幕立刻弹出,不用再等患者来才去翻

– 发药时扫码,库存自动减,再也不用记了

– 患者取药时,系统显示”已配好”或”配药中”,心里有底

最让林师傅意外的是:系统会提醒

“冯主任,这个阿奇霉素还有15天过期,系统标黄了。”林师傅指着屏幕。

“对,优先发给下一个患者。”冯主任说。

原来,系统对近效期药品有两个动作:

1. 效期前90天和30天,分别预警

2. 发药时,优先推荐效期最近的批次

“这不比我们用眼睛找强?”冯主任说。

试用期第20天,一个意外让所有人看到了系统的价值。

周三下午,系统弹出预警:”头孢呋辛酯胶囊,当前库存20盒,预计消耗完时间:明天中午。”

冯主任点开详情:该药日均用量15盒,现有20盒,安全库存应保持30盒。确实该补货了。

她立即在系统内下单,两小时后,供应商确认明早送达。

如果不是这个预警,明天上午就会断货。而那天的门诊量预计有40人需要使用这个药。

“这系统,有点像我们药房的’天气预报’。”小周说。

一个月试用结束,冯主任整理了全面数据:

指标 手工管理(原) 软佳系统(现) 改善
库存准确率 约85% 99.5% +14.5%
断货次数(月均) 4-6次 0.3次 -93%
过期药品损失(年) 约2万元 0 归零
盘点时间 每月2天 1小时自动完成 -98%
补货及时率 60% 98% +38%
药房人均效率 基线 +35% +35%

资金占用也明显减少。过去药房有50万元的库存,其中约15万元是不必要积压(3个月未动用的药品)。现在系统智能预警后,积压减少到4万元,资金释放11万元。

“这11万,够我们交6年系统年费了。”财务科老李算完账说。

价格问题,副院长老刘在一次供应商座谈会上主动说起来。

“我们药房现在用软佳,一年才1898元。”老刘对在座的经销商说,”以前我们每年在药盘库存上,至少损失2万(过期+断货+人力)。现在省下的钱,是年费的10倍。”

有人不信:”这么便宜?是不是功能不全?”

老刘笑了:”全套药房管理,实时库存、智能补货、效期预警、报表分析,还有后续更新和技术支持。关键是,它和我们门诊系统是一体的——处方直接来,发药直接同步,数据不打架。”

这就是软佳与其他系统最大的不同:不是独立药房软件,而是门诊管理系统的一个模块。数据全打通,无需对接。

现在,冯主任每天到药房第一件事,是看一眼库存看板。绿色代表充足,黄色提醒近效期,红色表示缺货。

这种一目了然的感觉,是她15年药剂师生涯里从未有过的。

“过去我们像在黑暗中管理药房,”她说,”现在我们有了一盏灯。”

上周,卫生局检查组来医院做年度质量检查。检查组抽查了10种药品的效期管理和库存记录,对她们的药房管理给出了全系统最高分。

“你们怎么做到的?”检查组组长问。

冯主任笑了:”我们有一个’好帮手’,它不会忘记,不会粗心,时刻提醒。”

她指的是软佳系统。

回想那段被盘点和投诉困扰的日子,冯主任感慨:药房管理不是玄学,是数据的科学

当库存数据实时准确、效期自动预警、补货智能建议时,药剂师的工作就从”救火队员”变成了”药品管家”。

更重要的是,患者现在很少抱怨”药房没药了”。信任,就这样一点点建立起来。

声明:本文基于真实医院场景改编,人物均为化名,数据为试点统计,实际效果因机构规模、药品种类、管理基础而异。

核心金句:

“药房不是仓库,是门诊效率的晴雨表。”

“药品的浪费有两种:一种是过期扔掉,一种是缺货损失。系统要做的,就是让两者都归零。”

“最好的库存管理,是让药剂师忘记库存管理。”

互动话题:

贵院药房目前是否使用信息化管理?最大的库存痛点是什么?

如果实现药品库存零积压、零过期,对您的药房管理意味着什么?

您在药品效期管理和补货决策上,主要靠经验还是靠数据?


立即免费试用门诊系统https://app.kmhis.com/
International Versionhttps://app.kmhis.com/multi/
了解软佳门诊管理系统详情https://www.kmhis.com/outpatient-management-system.html


扫码预约

手机扫码试用患者预约。请勿输入个人真实信息(点击图片可查看原图)

支持8种语言:简体中文、繁体中文、香港中文、English、藏文、泰文、老挝语、越南语


说真的。这类问题我见过太多了。每次看到医院同事为选型头疼。我就想,要是早点有人把这些经验分享出来就好了。毕竟。选择不对。后面全是麻烦。选择对了。省心省力。还能提升整个机构的运行效率。希望这篇能帮到正在纠结的你。

你如果有具体需求。也可以去 www.kmhis.com 看看。那里有更详细的技术方案和案例。

当进口系统遇上中国门诊:一次国产替代的理性选择

上午10点15分,湖北武汉XX区第三医院信息科办公室的气氛凝重得能拧出水来。

财务科老李推门进来,把一张发票”啪”地拍在孙主任的桌上,声音里带着压抑的烦躁:”孙主任,这个进口系统的维护费又要交了,3万。”

孙主任今年39岁,在这家二甲医院负责信息化已经7年。五年前那个意气风发的下午,院领导大手一挥:”门诊系统要上就上最好的,进口的!”于是他们选择了某国际品牌HIS,买断12万,实施费3万,后续维护费每年2-3万。总投入早已超过20万。

孙主任放下手中的季度运维报告,接过发票,手指在”金额:30,000元”上划过,眉头紧锁。他快步走到白板前,拿起记号笔,在密密麻麻的费用追踪表上又添了一笔。窗外阴雨绵绵,办公室的灯光显得格外惨白。

“老李,这已经是今年的第几次了?”孙主任转身问道,声音沙哑。

“第三次。”老李叹气,”每次打电话给他们客服,都要等48小时以上。上次那个挂号模块的bug,拖了整整两周才修复。这钱花得…憋屈。”

孙主任把笔扔在桌上,在办公室里来回踱步。五年来,这个进口系统的问题像滚雪球一样越积越多:高峰期系统卡顿,诊室里的医生焦急地拍打键盘;中文界面是机翻稿,”cardiology”被翻译成”卡片学”而不是”心脏科”;定制一个新功能要走国际流程,8000元/人天,而且最少等一个月;本地服务商水平参差不齐,简单问题能拖一周;每次大版本升级都要重新买授权,几乎等于重新做一遍实施。

他停下脚步,盯着墙上的系统架构图——那复杂的模块结构,本应带来高效,却成了束缚。

“我们像在用一个’西洋骨架’,套在中国门诊的’身体’上。”孙主任在昨天下午的院务会上疲惫地说,”数据格式不符合国内规范,操作逻辑不符合医生习惯,响应速度跟不上门诊节奏。我们花了20多万,买了个’水土不服’。”

院长沉默良久,抬起头:”那怎么办?继续忍受?还是换?”

孙主任揉了揉太阳穴,回答得异常坚定:”我这两个月一直在调研国产系统,特别是软佳。24年专注医疗软件,服务了2000多家中国门诊。他们的年费不到2000,功能却一点不含糊——我在想,性价比可能远超我们想象。”

调研结果让孙主任震惊。

他对比了三家进口厂商和三家国产厂商,发现:

进口厂商A:12万买断,5年维护10万,总成本22万。界面全英文,中国医生用着别扭;定制要等一个月,收费8000/人天。

进口厂商B:18万买断,更高。声称支持中文,但翻译生硬;服务响应慢(48小时+)。

国产厂商X:5万买断,但系统老旧,界面落后,移动端体验差。

软佳:年订阅1898元,5年0.95万,不到进口的一半;界面现代,支持8种语言;功能对标进口,但更贴合中国门诊场景;服务团队昆明总部,响应<30分钟。

“这价格差距太大了。”财务老李说,”进口5年22万,软佳5年0.95万,差12.5万。够我们买两台新设备了。”

但院长有顾虑:”软佳名气不如进口,靠谱吗?”

孙主任准备了详细的功能对比:

维度 进口系统 软佳国产
价格(5年TCO) 15-25万元 0.95万元
中文/小语种 翻译质量参差 原生支持,质量高
本地合规 需二次开发 开箱即用
服务响应 48小时+ <30分钟
定制成本 8000元/人天 包含在订阅
升级频率 3-5年一次,收费 每月更新免费
数据迁移 复杂,收费 包含在实施

“进口不是不好,”孙主任说,”但它的大而全,是为欧美大医院设计的。我们的门诊规模、流程、规范,和它不匹配。

“软佳专做中国门诊24年,每一个功能都为国内场景优化。”

为了验证软佳的实际效果,孙主任专程去云南考察了两家使用软佳的医院。

昆明某社区医院:2018年从某进口系统切换到软佳。信息科主任说:”进口系统维护费太高,而且每次定制都要等很久。软佳订阅制,所有合理需求都包含,服务也快。”

泰国清迈诊所:Dr. Somchai分享:”我们评估过新加坡进口系统,年费3000美元,泰语支持弱。软佳国际版1299美元,泰语完整,操作流畅。”

孙主任问:”定制需求呢?”

Dr. Somchai笑:”我们提过增加一个’保险直付’功能,软佳两个月就上线了。进口系统说要走6个月评估流程。”

回到武汉,孙主任组织了核心团队和两家厂商(进口代表 vs 软佳)进行了一场”实战测试”。

测试内容:

1. 门诊挂号场景:模拟100人高峰预约

2. 医生工作站:开电子病历+处方+检查申请

3. 药房发药:处方流转、库存扣减

4. 多语言:切换中英文、泰文(模拟外籍患者)

5. 服务响应:故意提一个定制需求,看响应速度

结果:

– 功能满足度:进口85%,软佳95%

– 响应速度:进口平均3秒,软佳平均1.2秒

– 多语言:进口只有界面翻译,软佳处方/报告全链路

– 服务响应:进口”记录需求,2周内回复”,软佳”可以实现,2周上线”

进口代表解释:”我们是大厂,流程规范,保证质量。”

软佳小陈说:”我们24年专注医疗,知道门诊需要什么快。”

决策会议,孙主任做了最终汇报:

“我们原来迷信进口,认为’外国的月亮更圆’。但实际用下来,发现:

1. 进口系统水土不服:是为欧美大医院设计的,我们这种二甲门诊,很多功能用不上,而需要的功能(如医保对接、中文模板)反而要折腾。

2. 成本远超预期:买断12万只是开始,5年维护10万,定制按小时收费,一次小修改就要上万。软佳5年0.95万,全包。

3. 服务不在身边:进口通过代理商,响应慢;软佳昆明总部,本地团队,30分钟响应。

4. 本土化深度:软佳有300+医技模板、ICD编码、医保对接、电子病历规范——这都是进口系统需要二次开发的,而我们等不起。

最关键的是,软佳有24年医疗软件经验。它不是通用软件,是专为门诊设计的。

我建议:切换软佳。”

投票结果:9:2 通过。

切换过程用了6周:数据迁移、员工培训、并行试运行。

三个月后,孙主任整理的实际数据:

指标 进口系统时期 软佳系统 变化
门诊平均等待时间 45分钟 32分钟 -29%
医生工作站满意度 65% 88% +23%
系统相关投诉 月均4起 0.5起 -87%
5年总成本 22万(预估) 0.95万 -12.5万
定制需求响应 2-4周 3-7天 快10倍
医保对接稳定度 偶尔异常 100%正常 100%

“现在系统快了,医生不抱怨了,患者满意度也提升了。”孙主任说。

最满意的是财务老李:”0.95万 vs 22万,这12.5万,我们给门诊添了10台新电脑,还给医护人员发了绩效奖金。”

现在,当同行问孙主任”门诊系统选进口还是国产”,他会反问:

“你选的是’品牌’,还是’匹配度’?

“进口系统是为大医院、国际化设计的。我们基层门诊,需要的是贴合国内流程、医保对接、快速响应、高性价比。这些,国产软佳做得更好。

“谁说国产就不好?软佳24年专注医疗,产品力完全不输进口,价格只有1/5,服务更快。

“我们不是’将就’用国产,是’精打细算’选了更适合的。”

回想那个面对两份账单发愁的下午,孙主任感慨:进口不等于适合,国产不等于低质

医疗信息化选型,核心是匹配:

– 匹配机构规模

– 匹配业务流程

– 匹配预算水平

– 匹配服务需求

软佳证明了:国产门诊系统,可以又好又便宜。

声明:本文基于真实客户案例改编,机构名称、人物均为化名,数据为试点统计,实际效果因机构规模、实施质量、人员配合度而异。产品功能与价格截至2026年5月,请以实际试用为准。

核心金句:

“进口不等于适合,国产不等于将就。”

“匹配度,比品牌更重要。”

“24年专注医疗,足以让国产对标进口。”

互动话题:

您在选择门诊系统时,会优先考虑进口还是国产?

如果您体验软佳,最想验证它哪方面能超越进口系统?

您认为国产医疗软件,最大的优势是什么?


立即免费试用门诊系统https://app.kmhis.com/
International Versionhttps://app.kmhis.com/multi/
了解软佳门诊管理系统详情https://www.kmhis.com/outpatient-management-system.html


扫码预约

手机扫码试用患者预约。请勿输入个人真实信息(点击图片可查看原图)

支持8种语言:简体中文、繁体中文、香港中文、English、藏文、泰文、老挝语、越南语


说真的。这类问题我见过太多了。每次看到医院同事为选型头疼。我就想,要是早点有人把这些经验分享出来就好了。毕竟。选择不对。后面全是麻烦。选择对了。省心省力。还能提升整个机构的运行效率。希望这篇能帮到正在纠结的你。

你如果有具体需求。也可以去 www.kmhis.com 看看。那里有更详细的技术方案和案例。

“幽灵”进程的幽灵:一场由”沉默杀手”引发的系统危机

上午十点半,门诊高峰时段。

XX省第一人民医院的门诊系统开始”莫名其妙”地变慢——不是全瘫,而是”一点点往下沉”:刚开始挂号响应从2秒变成5秒,人们还能接受;半小时后变成15秒,开始有患者抱怨;一小时后变成30秒以上,缴费窗口前排起了长队,护士们在喊”系统太卡了”。

李主任在看监控:CPU使用了45%,内存还有60%可用,网络流量正常,数据库连接池使用率55%——所有指标都在安全范围内。但系统就是越用越慢,像是一辆在平路上慢慢失去动力的车。

1. 指标正常,但业务异常:最诡异的故障

“重启试试?”有人提议。

“不行,”李主任摇头,”现在是高峰,重启会导致所有正在办理的业务中断,患者会更不满。先查原因。”

这个决定很关键。如果当时选择了重启,问题可能暂时消失,但那个”幽灵”会继续存在,下次以更猛烈的方式爆发。

老林建议从进程层面入手。他们用top命令查看系统进程,发现了一个奇怪的进程:java -jar /opt/his/tmp/cleanup.jar,这个进程的CPU占用率只有0.3%,但VIRT(虚拟内存)高达2GB,RES(物理内存)也有800MB,而且已经运行了超过48小时。

“这个进程是干什么的?”李主任问。

小张回忆起来:这是两周前部署的一个”临时清理脚本”,用于清理临时文件。当时 supposed 是运行一次就退出,但似乎它变成了常驻进程。

他们进一步检查这个进程的打开文件:lsof -p ,发现它打开了一个数据库连接,而且这个连接的状态是”Sleep”,但时间已经超过48小时。

“就是这个’ninja’进程,”老林说,”它占着一个数据库连接不放,而且因为它持续存在,连接池的其他连接被它慢慢挤占。”

但仅仅这一个连接,不至于把连接池全部占满。小吴继续排查,又发现了多个类似的”僵尸进程”:有的已经死亡但父进程没回收(orphaned zombie),有的自己创建了大量线程但从未释放,有的在等待某个永远不来的网络响应(I/O wait)。

2. 清理僵尸:一场高风险的手术

“我们必须清理这些僵尸进程,”李主任说,”但不能影响正在进行的业务。”

他们制定了一个计划:

1. 识别所有空闲超过30分钟的数据库连接

2. 找出这些连接关联的进程

3. 对于确认是僵尸的进程,先尝试优雅终止(SIGTERM),如果10秒内不退出,再强制终止(SIGKILL)

4. 清理后密切观察业务日志,确保没有数据丢失或不一致

第一步,他们用SQL查询了数据库的进程列表:

“`sql
SELECT id, user, host, db, command, time, state
FROM information_schema.processlist
WHERE time > 1800 AND command != ‘Sleep’ OR state = ‘Sleep’ AND time > 1800;
“`

(注:此处为示意逻辑,实际更复杂)

结果发现了80多个超时会话。他们逐一对每个会话对应的应用服务器进程进行标记。

小吴编写了一个自动化脚本:

1. 获取所有空闲超过30分钟的数据库连接ID

2. 通过连接信息反查应用服务器上的进程ID

3. 对进程进行优雅终止,等待10秒

4. 如果进程仍在,强制终止

5. 记录清理日志

脚本运行前,李主任要求:”每清理5个连接,就检查一次业务日志,确保没有异常。”

清理开始。前5个连接顺利清理,无异常。10个、15个、20个… 系统响应时间慢慢改善,从30秒降到了18秒。

但清理到第35个时,系统再次出现短暂闪退——所有页面白屏约15秒。

“停!”李主任喊道。

他们检查发现,这个连接关联的是一个正在执行批量数据同步的任务。虽然这个任务已经”空闲”了35分钟,但它处于一个事务中,一旦强制终止,会导致数据同步中断,部分数据不一致。

“我们不能只看’空闲时间’,”老林说,”还要看当前事务状态。”

他们调整了清理策略:只清理那些”不在活动事务中”的空闲连接。

调整后,清理继续。这次顺利多了。下午一点,清理完成,系统响应时间稳定在4秒以内。但李主任心里明白,这只是临时解决了资源占用问题,那个”幽灵”的制造者——那些不该存在的僵尸进程——是怎么来的,才是根本。

3. 为什么会有僵尸进程?

下午业务低峰期,技术团队开始了根因分析。

第一个发现:应用程序异常处理不当

他们检查了那个cleanup.jar的源码( decompiled ),发现它在捕获到InterruptedException后,只是简单return,没有真正关闭数据库连接和线程资源。这个jar包是由一个外包团队写的,上线时没有做代码评审。

第二个发现:线程池配置不合理

应用服务器的线程池配置是默认值:核心线程数10,最大线程数200,队列容量1000。在门诊高峰,请求并发达到1500时,线程池会创建大量线程来处理,但这些线程在任务完成后不会立即销毁(核心线程不销毁),导致线程数慢慢积累到200的上限。而这些线程如果因为某种原因阻塞,就会变成”僵尸线程”。

第三个发现:数据库连接泄漏

某些业务代码中,数据库连接获取后,在异常分支里没有正确释放。正常情况下,连接会随着方法结束自动关闭(try-with-resources),但一旦发生异常跳过close语句,连接就”悬空”了。

第四个发现:监控盲区

“我们一直以为连接池使用率55%是安全的,”李主任看着监控图表,”但55%指的是’已分配连接’,不包括’僵尸连接’。如果僵尸连接占用了30%,实际可用连接只有25%,早就该告警了。”

老林补充:”我们的监控只采集了’连接池使用率’这个指标,没有采集’活跃连接率’和’空闲超时连接率’。这就是为什么所有指标正常,但业务已经卡住。”

4. 系统性整改:从被动灭火到主动预防

当晚,李主任主持了故障复盘会。他定了三个整改方向:

第一,建立连接泄漏检测机制

在数据库层面,开启performance_schema,监控长时间未关闭的连接。对于超过30分钟的空闲连接,自动记录堆栈信息并告警。这样,即使发生泄漏,也能在影响业务前发现。

同时,应用层面增加连接池的abandoned回收机制:如果一个连接被借出超过10分钟未归还,强制回收并记录日志。虽然强制回收可能导致该连接的业务失败,但比整个系统拖垮要好。

第二,规范进程生命周期管理

所有后台任务进程必须有明确的启动、停止、监控机制。现在,他们要求:

– 任何后台任务必须打包为systemd service,有明确的ExecStart、ExecStop、Restart策略

– service文件必须包含TimeoutStopSec=30,防止进程拒绝退出

– 所有服务必须提供健康检查接口,供监控系统探测

– 禁止使用”nohup java -jar”这种原始方式启动服务

那个运行了48小时的cleanup.jar,就是因为没有systemd管理,一旦启动就不知道如何停止,只能手动kill。

第三,优化线程池配置和监控

根据业务高峰的并发量(约1500),他们将线程池参数调整为:

– corePoolSize=50(避免线程数过少导致排队)

– maxPoolSize=300(允许弹性扩容)

– queueCapacity=1000(缓冲队列)

– keepAliveTime=60(空闲线程60秒后销毁)

同时,增加线程池监控指标:

– 活跃线程数

– 队列等待数

– 任务完成总数

– 拒绝任务数

这些指标接入现有监控系统,设置阈值告警。

第四,强化代码审查和异常处理规范

所有生产环境部署的代码,必须经过至少一人代码审查,重点审查:

– 资源释放(数据库连接、文件句柄、线程)是否在所有异常路径都能正确关闭

– 是否使用了try-with-resources或类似机制

– 线程池任务是否有超时设置

– 是否有无限循环风险

此外,统一异常处理规范:捕获异常后,必须记录日志(包括堆栈),必须确保资源释放,必须考虑是否需要向上传递。

5. 一个月后:系统稳定运行

整改后的一周内,他们又发现了两起潜在的连接泄漏——都被自动检测机制捕获并及时处理。一个月后,系统没有出现类似的”缓慢失能”故障。

李主任在月度运维会议上说:”这次故障给我们上了一课。它告诉我们,指标正常不代表系统健康。我们需要监控的不仅仅是CPU、内存这些’传统指标’,更要监控’业务健康度’——比如平均响应时间、错误率、吞吐量。”

他还提出了一个概念:”运维的黄金法则是’在用户感知之前发现问题’。当患者开始抱怨’系统卡’时,其实问题已经存在一段时间了。我们的目标是通过精细监控,让系统在用户感知到异常之前,就自动修复或至少自动告警。”

软佳的客户成功经理在回访时,对这次整改给予了高度评价。她说:”我们服务过上百家医院,XX医院这次故障的复盘深度和整改力度,是前三的水平。很多医院故障后只修bug,不建流程,结果同类问题反复发生。”

6. 给运维人员的建议

老林在内部培训中,总结了”僵尸进程防御三原则”:

原则一:资源必须有归属

每个数据库连接、每个线程、每个文件句柄,都必须有明确的创建者、所有者、销毁时机。不能让它”自然死亡”,必须”主动回收”。

原则二:监控要看趋势,看质量

不要只看”总量是否超过阈值”,要看”活跃占比”、”空闲时长分布”、”异常增长趋势”。一个指标从20%升到45%,虽然没到80%的告警线,但趋势已经说明问题。

原则三:应急要有章法,根治要有流程

遇到故障,先按预案处理恢复业务;恢复后必须进行根因分析,找到流程漏洞;然后整改流程,防止同类问题再发生。不能”好了伤疤忘了疼”。

互动话题

你们医院有没有遇到过”监控正常但业务异常”的情况?是怎么发现并解决的?你觉得最应该监控哪些”非传统”指标来预防这类问题?欢迎在评论区分享你的运维实战经验。

> 基于真实医院场景改编,人物均为化名


立即免费试用门诊系统https://app.kmhis.com/
International Versionhttps://app.kmhis.com/multi/
了解软佳门诊管理系统详情https://www.kmhis.com/outpatient-management-system.html


扫码预约

手机扫码试用患者预约。请勿输入个人真实信息(点击图片可查看原图)

支持8种语言:简体中文、繁体中文、香港中文、English、藏文、泰文、老挝语、越南语


说真的。这类问题我见过太多了。每次看到医院同事为选型头疼。我就想,要是早点有人把这些经验分享出来就好了。毕竟。选择不对。后面全是麻烦。选择对了。省心省力。还能提升整个机构的运行效率。希望这篇能帮到正在纠结的你。

你如果有具体需求。也可以去 www.kmhis.com 看看。那里有更详细的技术方案和案例。

当HIS系统集体”失声”:一场跨越深夜的排障战役

凌晨三点,XX省第一人民医院信息科值班室的电话骤响。李主任从沙发上惊坐而起,屏幕上闪烁着门诊系统的监控告警——挂号、收费、药房三个核心模块同时出现服务不可用,患者滞留大厅的投诉电话如潮水般涌入。

“全部挂了?”李主任的声音很冷静,但手心已经出汗。

“是的,”值班工程师小张的声音带着恐慌,”我们试了自动恢复,没成功。现在系统完全没响应。”

这不是普通的故障。在过去的一个月里,系统已经经历过三次小规模”抽搐”,但每次都被快速”镇压”。这一次,它选择了最不留情面的方式——全面崩溃。

李主任立刻启动应急响应流程。技术总监老林、数据库专家小吴、网络工程师老王,都在十分钟内赶到。他们知道,这次故障不同寻常——普通的服务挂掉,重启就能好;这次,连重启都失败了。

“数据库连接池全部占满,”小吴盯着监控面板,”新的请求根本进不来。”

“CPU使用率只有45%,内存还有60%可用,”老王检查着服务器指标,”硬件没问题。”

“但系统就是没响应,”李主任看着不断涌入的投诉电话,”门诊已经瘫痪了。”

真正的问题开始浮出水面。老林提出了一个假设:”是不是有’僵尸连接’占着资源?”

他们开始深入排查。在数据库层面,他们发现了一些异常:很多连接状态是”Sleep”,但这些会话已经空闲了很长时间——有些甚至超过三十分钟。这些”死而不僵”的连接,像是血管里的血栓,慢慢堵塞了整个血流。

更糟糕的是,这些僵尸连接不是凭空出现的。小张回忆起三天前的一次配置变更——为了提升某个高频查询的性能,他调整了数据库缓存参数,但忘了同步调整连接池上限。这个改动看似微小,却埋下了隐患。

“我们得先恢复服务,”李主任看着时钟,已经凌晨三点半,”医院八点就要开诊,我们必须在天亮前搞定。”

他们制定了一个分步方案:先快速清理僵尸连接,释放资源;同时准备一个紧急回滚脚本,如果清理导致问题扩大,立刻回滚到变更前状态;最后,再永久性调整连接池配置。

清理过程并不顺利。有些连接关联着重要业务,强制断开可能导致数据不一致。他们不得不逐个判断哪些可以安全清理。小吴编写了一个脚本,自动识别空闲超过二十分钟的连接,并标记为”可清理”。

凌晨四点,清理开始。每清理一个连接,小吴都盯着业务日志,确保没有异常。前50个连接顺利清理,系统响应时间从15秒降到了8秒。”有效,”李主任说,”继续。”

但清理到第80个时,系统突然出现短暂的闪退——大约十秒钟内,所有页面都无法访问。团队立刻停止清理,检查原因。发现是一个关键业务进程正在执行一个长查询,它的连接也被标记为”空闲”,但实际上正在处理业务。

“我们的判断逻辑有问题,”老林说,”不能只看空闲时长,还要看当前执行状态。”

他们调整策略:只清理那些”空闲”且”不在事务中”的连接。这次,清理进行得很顺利。凌晨五点,系统响应时间降到3秒以内。但李主任知道,这只是临时恢复,根本问题还没解决。

真正的根因分析要等到业务高峰期之后才能进行。现在,他们需要确保八点门诊顺利开诊。

早上七点,门诊开始。系统运行正常,但李主任没有放松——他还不知道那个”占用资源却不释放”的根本原因是什么。

八点刚过,投诉电话又响了。这次的问题不同:某些挂号操作异常缓慢。

“我就知道没那么简单,”李主任对老林说,”临时清理只是治标,不治本。”

他们决定在当天业务低峰期进行一次彻底的深度分析。下午三点,团队聚集在会议室。小吴展示了他的发现:问题根源是某个门诊排班查询功能中的一个bug。这个功能在上周上线,它使用了一个临时的缓存机制来加速访问,但缓存的键设计有缺陷——使用了”排班日期+科室”作为键,却没有考虑”医生”这个维度。

结果,当某个科室的医生排班发生变更时,缓存无法准确失效,导致查询走缓存返回的是过时数据。更糟糕的是,这个过时数据会触发一次全量重新计算,而这个计算会长时间占用数据库连接。

“这就是为什么连接池会被慢慢掏空,”小吴说,”每个过时的缓存命中都会触发一个长时间运行的查询,这个查询占着一个连接不放,而新请求进不来。”

找到了问题,修复就快了。他们调整了缓存键的设计,增加了医生ID的维度,确保每次排班变更都能准确失效相关缓存。同时,他们优化了查询逻辑,避免了不必要的全量重新计算。

修复上线后,系统恢复了稳定。但李主任召集的复盘会,却充满了紧张的气氛。

老林首先发言:”这次故障的直接原因是缓存键设计缺陷。但深层原因是什么?是我们变更管理流程的漏洞。”

“上周五下午,这个功能上线时,只有一个人在操作。没有代码评审,没有测试验证,没有备份回滚方案。’小变更’ mentality——觉得这个改动小,不会出事。”

“但所有大事故,都是由’小变更’引发的。”

“如果我们有变更评审流程,这个缺陷可能在测试阶段就被发现。如果我们有分支发布流程,这个改动可以通过灰度发布,影响范围不会这么大。如果我们有更完善的监控,能在缓存查询变慢时及时发现…”

李主任总结:”这次故障,暴露的不是技术能力问题,是流程成熟度问题。我们需要建立变更管理规范:任何生产环境变更,必须经过至少一人评审;关键功能变更,必须先在测试环境充分验证;变更必须有快速回滚方案;变更后必须密切监控至少二十四小时。”

会议结束时,天已经黑了。李主任站在办公室窗前,看着外面安静的街道。他知道,这次故障给医院业务带来了不小的影响——患者投诉增加,门诊效率下降,信息科的信任度受损。

但他也知道,这次故障是团队成长的一次机会。只有真正经历过危机,才能体会到规范流程的重要性。

一周后,软佳的技术总监来医院做回访。李主任和他聊起了这次故障。总监说:”我们经历过类似的案例。XX市第一人民医院也曾因为一个缓存bug导致系统缓慢。但那次之后,他们建立了非常严格的变更管理流程,现在已经两年没出过重大故障了。”

“你们现在的整改措施,我们看了很欣慰——不只是修bug,更是建流程。”

李主任点头:”我们希望,这成为最后一个因为’小变更’引发的大故障。”

三个月后,当软佳再次来医院巡检时,李主任主动分享了一个好消息:自那次整改以来,医院HIS系统实现了连续九十九天的稳定运行,没有发生任何P1级故障。

“现在我们每次做变更,都会问自己三个问题:这个变更真的必要吗?如果出了问题,我们能在多长时间内回滚?我们怎么证明这个变更不会引入新的问题?”

老林笑着说:”这三次’小变更’三个问题,比任何监控工具都管用。”

李主任说:”运维的最高境界,不是不出故障,而是让故障越来越少,越来越小。而要做到这一点,唯一的办法是把每个’小变更’都当成’大事件’来对待。”

互动话题

你们医院发生过因为”小变更”引发的大故障吗?后来是怎么整改的?你在变更管理上吃过最大的亏是什么?欢迎在评论区分享你的经验和教训。

> 基于真实医院场景改编,人物均为化名


立即免费试用门诊系统https://app.kmhis.com/
International Versionhttps://app.kmhis.com/multi/
了解软佳门诊管理系统详情https://www.kmhis.com/outpatient-management-system.html


扫码预约

手机扫码试用患者预约。请勿输入个人真实信息(点击图片可查看原图)

支持8种语言:简体中文、繁体中文、香港中文、English、藏文、泰文、老挝语、越南语


说真的。这类问题我见过太多了。每次看到医院同事为选型头疼。我就想,要是早点有人把这些经验分享出来就好了。毕竟。选择不对。后面全是麻烦。选择对了。省心省力。还能提升整个机构的运行效率。希望这篇能帮到正在纠结的你。

你如果有具体需求。也可以去 www.kmhis.com 看看。那里有更详细的技术方案和案例。