正文
Istio
捉襟见肘，内存告急？这些问题，在模拟测试时逐一暴露，也促使我们提前优化，确保系统在高压环境下依然稳如磐石。
午夜混沌测试：极限演练
为了不影响正常业务，我们将所有的混沌测试安排在午夜到凌晨。测试过程中，我们引入随机的网络故障、Pod 崩溃、数据异常……竭尽所能地制造各种突发状况，以考验团队的应变能力和响应速度。我们一度以为已然做好万全准备，直到 2 月 7 日，也就是超级碗前的那个周五，我们决定进行最后一次完整预演，才发现之前的万无一失处处都是漏洞。
当演播厅里的大屏幕播放着预演的比赛和各种实时监控数据，ground control team 紧张地把一个个问题提交到事件跟踪报告（incident tracker），然后由我一个个分配给团队处理，一切一切如同真实的比赛一样时，氛围和之前的预演大不一样：空气中弥漫着一种难以言喻的紧绷感，每个人的呼吸都变得小心翼翼。我偷偷叫了两个同事出去，毫无预警地破坏部分服务和数据，只为测试团队在真正危机来临时的应对效率。
结果令人沮丧：第一个“不可能发生”的事故发生后，团队慌了神，一群人激烈地讨论，气氛分外凝重；这导致第二个事故虽然被发现异常，但因“太不可能”延误 20 分钟才被上报，最终花了 40 分钟才解决。这样的应对速度，显然无法支撑超级碗的高强度直播。原定一小时的演练，被迫延长至一整天，我们反复折腾破坏系统和数据，直到团队形成肌肉记忆，确保即便在极端情况下，也能在规定的时间内（比如 p1 问题五分钟内）响应、定位、果断采取措施缓解问题，才算告一段落。
一切努力，终得回报
