一家酒店泳池的安全系统发现了问题并发出警报。但没有人听到,因为警报是一封邮件,而这封邮件始终没有送达。Phantasialand 向德国广播公司 WDR 讲述的大致就是这样:上周 Microsoft 365 服务中断期间,旗下 Hotel Ling Bao 的 15 名住客因泳池氯含量过高而受伤。
要点速览
- Phantasialand 告诉 WDR,泳池的氯浓度警报通过邮件发出,但由于 Microsoft 服务中断,没有人看到。
- 邮件会重试并把消息放进队列,这对账单没问题,但对安全警报来说太慢、太安静。
- 为每条关键告警配备第二条独立渠道,例如来自其他服务商的推送通知、短信或电话。
- 加一个心跳检测,让设备或脚本的“沉默”本身也能触发警报。
如果你管理的任何系统只通过邮件发送警告,这篇指南就是为你写的。你会了解事情经过、为什么邮件是薄弱的报警渠道,以及五个实用步骤,确保下一条关键告警即使在邮件服务商宕机时也能送达真人。
Phantasialand 发生了什么
据 WDR 报道,酒店桑拿和泳池区域的自动加药系统向泳池注入了过量的氯。维护安全系统察觉后通过邮件发出警报。Phantasialand 告诉 WDR,由于 Microsoft 服务中断,邮件一直收不到,所以没有人看到这条警告。

使用过泳池的住客反映身体不适,消防和急救人员随即赶到。Radio Erft 报道,来自布吕尔以及邻近的埃尔夫特施塔特、许尔特、克彭和韦瑟林的救援人员检查了 15 人。根据其引用的消防报告,14 人轻伤,1 人中度受伤,4 人被送往医院。WDR 称,最初报道的 5 名住院者后来更正为 4 名,其中 1 人留院观察。现场检测发现加药系统存在故障,泳池换了水,消防部门周六告诉 WDR 泳池已重新开放。
有两点需要分开看。氯来自故障的加药系统,而不是 Microsoft。按乐园自己的说法,是服务中断让警告没能送达。另外,当地媒体对事故发生在哪一天说法不一,因此具体时间尚无定论。
数字速览
15人接受急救人员检查
4人被送往医院
100,000条故障报告(一小时内)
邮件失踪背后的服务中断
这次大范围中断始于 2026 年 11 月 12 日(周四),一直拖到周五。ABC News 报道,在 Microsoft 首次确认问题后的一小时内,Downdetector 收到超过 100,000 条报告。周五上午,Microsoft 提醒在队列清空期间可能出现 “intermittent access issues or delayed email delivery”(间歇性访问问题或邮件延迟送达)。
Microsoft 表示这不是攻击。在 ABC News 引述的声明中,该公司称 “the incident was introduced by an issue during an earlier network capacity upgrade that surfaced following a recent network change”(事件源于此前一次网络容量升级中的问题,并在近期一次网络变更后暴露出来)。目前它还没有发布完整的事后报告。我们的 Microsoft 365 服务中断解读 梳理了时间线、受影响人群,以及为什么旧邮件在几天后还不断冒出来。
为什么邮件是脆弱的报警方式
邮件的设计初衷是“终究会送到”,而不是“马上送到”。当服务器无法投递消息时,发件方通常会把它放进队列并重试。这对账单很好,但晚到六个小时的氯浓度警告对谁都没用。
其他几个薄弱环节:
- 一个服务商,就是一个单点故障。如果你的警报发往的邮箱就托管在正在宕机的那家公司,警告就无处可去。
- 静默失败。发送设备通常无法知道没有人读过这条消息。它已经发出去了,在它看来任务就完成了。
- 噪音。落进繁忙收件箱的告警要和各种订阅邮件争夺注意力。Google 的 SRE 书在 监控章节 中警告,告警太频繁时,人们会 “second-guess, skim, or even ignore incoming alerts”(怀疑、略读甚至忽略收到的告警)。
同一章还说,监控系统中负责呼叫人的部分 “need to be very simple and robust”(需要非常简单且可靠)。一个悄悄依赖单个云邮箱的警报,两样都做不到。
你知道吗?
发送报警邮件的设备通常无法知道是否有人读过它。在它看来,消息一发出,任务就完成了。
如何让关键告警挺过服务中断
这些步骤适用于小企业、家庭实验室,或任何能调用网址的楼宇系统。你不一定需要全部五步,但关键警报至少应该做到前两步。
第 1 步:列出所有重要告警
写下每一个会就危险或高成本事件向你发出警告的系统:泳池或锅炉控制器、冰柜和机房温度传感器、备份、火警面板、支付失败。逐一记下告警现在发往哪里、由哪家公司承载。如果某个安全警报的答案是“发到一个共享收件箱的邮件”,就把它排到清单最前面。
第 2 步:增加第二条独立渠道
解决办法是冗余,这也是监控服务商给自己的建议。Healthchecks.io 的 通知文档 建议设置 “two different notification channels (for example, email and Slack)”(两条不同的通知渠道,例如邮件和 Slack),这样一条渠道失效时,”you still receive a notification over the other channel”(你仍能通过另一条渠道收到通知)。对于关键服务,他们建议同时使用聊天、邮件和短信。
独立意味着不同的公司、不同的路径。Teams 消息不能作为 Outlook 邮件的备份,因为两者都运行在 Microsoft 365 上,上周都受到了影响。来自其他服务商的短信、电话或推送通知才算。
第 3 步:一条命令发送推送告警
如果你的设备或脚本能发起 HTTP 请求,ntfy 是把告警推到手机上的快捷方式。安装 ntfy 应用,订阅一个主题(topic),发布到该主题的任何内容都会以通知形式弹出。它无需注册,所以文档提醒 “the topic is essentially a password”(主题本质上就是密码)。请选一个别人猜不到的长名称。
curl \
-H "Title: Pool chlorine high" \
-H "Priority: urgent" \
-H "Tags: warning" \
-d "Dosing alarm in the pool area. Check now." \
ntfy.sh/example-pool-alerts-7f3k9q
Priority 请求头决定手机通知的强度。ntfy 也接受带数字的 X-Priority,其中 5 最紧急。在 Android 上,你可以为每个优先级设置不同的铃声和振动模式,让紧急警报很难被睡过去。
ntfy 是开源软件,可以自行托管。我们的指南 把旧 Android 手机变成家庭服务器 介绍了一个运行这类小工具的低成本方案。
第 4 步:加上心跳,让沉默也能触发警报
第 2 步和第 3 步适用于告警已发出、但某条渠道宕机的情况。如果发送设备本身死机、断电或断网,它们就帮不上忙了。为此你需要一个“死人开关”(dead man’s switch)。
原理很简单:系统按计划定时报到,一旦停止报到你就会收到告警。Healthchecks.io 的 cron 指南 称之为心跳监控。你的任务每次运行都发送一个 HTTP “ping”,而 “when Healthchecks.io does not receive the HTTP request at the expected time, it notifies you”(当 Healthchecks.io 没有在预期时间收到 HTTP 请求时,就会通知你)。它的示例在每日备份之后加了一条 curl 调用:
8 6 * * * /home/me/backup.sh && curl -fsS -m 10 --retry 5 -o /dev/null https://hc-ping.com/your-uuid-here
这些额外选项会重试失败的请求,把运行时间限制在 10 秒内,并且除非出错否则保持安静。把心跳本身的告警指向你的第二条渠道,而不是你要保护的那个邮箱。
第 5 步:服务商宕机时及时获知
如果你的组织使用 Microsoft 365,管理员可以在 Microsoft 365 管理中心的 Health 下关注 Service health(服务运行状况)页面。Microsoft 也提供新事件的邮件通知,但在邮件中断期间,这些邮件可能同样会被卡住。
Microsoft 自己的页面给出两个备用途径:无法登录管理中心时查看公开的服务状态页面,以及 X 上的 @MSFT365status 账号。服务商宕机本身就该被当作一次警报。在邮件恢复之前,手动检查你的关键系统。

常见错误及解决方法
- 备用渠道走的是同一家服务商。解决:至少有一条路径使用另一家公司,例如短信或推送服务。
- 没人测试警报。解决:定期通过每条渠道发送测试告警,并确保有真人确认已收到。
- 告警只发给一个人。解决:把关键告警发给值班轮岗表或群组,免得一部静音的手机让整条链路断掉。
- 告警太多。解决:只为需要立刻处理的紧急事项呼叫人,其余的放进每日摘要。吵闹的警报只会让人学会忽略它们。
- ntfy 主题名太好猜。解决:使用随机的长主题名,或使用带访问控制的自托管服务器。

这对你意味着什么
我们大多数人永远不会管理酒店泳池,但几乎每个人都依赖某封“应该”会到的邮件:备份报告、服务器警告、智能家居网关发来的烟雾提醒。上周的事让我们看到这有多脆弱。
这周花一个小时完成第 1 步。凡是可能伤人或造成真金白银损失的,都加上第二条渠道和心跳检测。如果类似的中断再次发生,你会从手机上得知,而不是从消防员那里。
想了解依赖的服务宕机时该怎么应对,请看我们的指南 如何检查 Claude 是否宕机,以及关于 Workday 服务中断 的解读。更多指南见 软件与教程。
常见问题
是 Microsoft 服务中断导致了 Phantasialand 的氯气事故吗?
不是。检测发现泳池的自动加药系统存在故障。根据 Phantasialand 对 WDR 的说法,Microsoft 服务中断让安全系统的报警邮件无法送达,因此没有人及时看到警告。
监控中的“死人开关”是什么?
它是一种检测机制,期待设备或任务定期发出信号,也就是心跳。如果信号没有按时到达,监控服务就会提醒你,这样死机的设备或出错的脚本就不会悄无声息地失效。
Outlook 宕机时,Teams 是好的备份吗?
对关键告警来说不是。Teams 和 Outlook 都运行在 Microsoft 365 上,在 2026 年 11 月的中断中都受到了影响。备用渠道应来自另一家公司,并走另一条路径。
如何查看 Microsoft 365 是否宕机?
管理员可以在 Microsoft 365 管理中心依次打开 Health 和 Service health。如果无法登录,可以查看 Microsoft 公开的服务状态页面或 X 上的 @MSFT365status 账号。
小测验
心跳 ping 没有按时到达时,Healthchecks.io 会怎么做?
- 重启服务器
- 通知你
- 删除这项检测
只要 ping 按时到达它就保持安静,一旦有一次迟到就会提醒你。
为什么 ntfy 主题名应该又长又随机?
- 它无需注册,所以主题就相当于密码
- 短名称要收费
- 手机会拒绝短名称
ntfy 无需注册,所以它的文档提醒:主题本质上就是密码。
对于 Outlook 报警邮件,哪种才是真正独立的备份?
- 一条 Teams 消息
- 第二个 Outlook 邮箱
- 来自其他服务商的短信或推送告警
备份必须使用不同的公司和路径;这次中断中 Teams 和 Outlook 都出了故障。
资料来源
- WDR: IT-Panne Schuld für Chlorgasunfall im Phantasialand
- Radio Erft: Phantasialand: 15 Verletzte nach Defekt in Hotel-Pool
- ABC News: Microsoft apologizes for email disruption, says there was no hack
- Microsoft Learn: How to check Microsoft 365 service health
- Healthchecks.io: Configuring notifications
- Healthchecks.io: How to monitor cron jobs
- ntfy docs: Sending messages
- Google SRE book: Monitoring Distributed Systems





写评论