当时是下午三点多,客户在微信上发来一条语音,语气很轻松,说最近网站好像有点慢,但应该没事,问我要不要顺便看一眼后台。我登上去的时候,第一眼也没觉得哪里不对,首页加载看着还行,服务器负载也没飙红。但鬼使神差地,我点开了统计那边的长期趋势图,把时间线拖到了半年前。
然后我就愣在那了。
那条曲线根本不是突然断崖,而是像台阶一样,一格一格往下走的。每隔一两周就悄悄下一个台阶,平滑得几乎看不出异常。可你要是把半年前的数据和现在放在一起比,掉下去将近三分之一的量。客户嘴里的“有点慢”,在数据图上已经是一段漫长的缓坡了。我顺手查了一下同一时期的缓存策略,发现某个静态资源配置早就过期了,回源请求一直在悄悄把带宽吃干抹净。流量看起来没崩,但转化动作的频率明显变得稀疏。运营那边应该也没有注意到,他们大概只看每天的PV有没有过万。可有些东西,PV看不出来。
这类问题其实很常见。很多人根本不会注意到一个配置过期能带来什么影响,因为网站又没挂,支付也能走,顶多就是偶尔卡那么一两下。但半年累积下来,丢掉的询盘不是个小数目。我当时也没觉得多严重,直到切到另一台备用节点看了下日志,发现最早一次异常记录居然是五个多月前的一个凌晨。等于说,问题早就在那了,只是没人听见它响。现在再去看那个客户的主站,首页那张大Banner图加载得慢悠悠的,可谁也不会觉得一张图慢个半秒能怎么样。但日志不会骗人,它把半年来每一次回源失败都记得清清楚楚。