翻译:
我是 Microsoft 365 的首席站点可靠性工程师(Principal SRE)。我可以提供一些背景信息。
大约在 UTC 时间 21:40,一名工程师向 Azure Front Door 部署了一项常规配置变更,结果意外地将我们的身份验证流量重定向到了一个上次更新还是 2017 年的 SharePoint 网站。
我们立即启动了回滚,但回滚流程需要通过 Microsoft Authenticator 进行多因素身份验证(MFA)审批,而 Authenticator 目前正在等待条件访问(Conditional Access)策略评估。偏偏执行这项评估所依赖的,正是我们正在努力恢复的那套基础设施。
我们确实有一个紧急备用管理员账户(break-glass admin account),但不幸的是,它的密码保存在受此次故障影响的租户中的一本 OneNote 笔记里。
我们的值班工程师尝试使用 PowerShell 绕过这个问题,但所需的模块上周二刚刚被弃用,而替代模块又要求具备 P2 许可证。
于是,我们向微软高级支持服务(Microsoft Premier Support)提交了一张最高严重级别(Sev A)的工单。他们回复说,让我们运行 sfc /scannow,然后提供一张截图。
恢复过程之所以拖延这么久,主要是因为我们的变更咨询委员会(CAB)要求先召开一场 Teams 会议,才能批准回滚操作。
然而,会议组织者被卡在了会议等候室里,而唯一有权限批准他进入会议的人,已经在今年 6 月被裁员了。
目前的缓解措施是将受影响的用户迁移到 Microsoft 365 E5。从营收角度来看,这应该能够解决问题。
我们已经确认,根本原因是客户配置错误。
下一次情况更新将在 30 分钟后发布——前提是有人能先把 Outlook 修好。
