爬虫搞崩网站后，程序员自制“Zip炸弹”反击，6刀服务器成功扛住4.6万请求

主要观点总结

本文讲述了作者Ibrahim Diallo如何通过自己的服务器成功应对Hacker News热榜带来的流量冲击，并反制恶意爬虫的故事。他通过一系列的技术手段和策略，如日志记录、可视化动画展示、服务器配置优化等，有效地应对了服务器压力，同时利用“zip炸弹”反制恶意爬虫。

关键观点总结

关键观点1: 文章背景及服务器挑战

作者Ibrahim Diallo讲述了自己的博客文章因登上Hacker News和Reddit热榜而遭遇前所未有的流量冲击，服务器面临巨大压力，但成功应对的过程。

关键观点2: 服务器配置与策略

作者展示了他的服务器配置，包括使用Apache 2和MySQL数据库，通过合理的缓存策略和轻量化配置成功扛住流量洪峰。

关键观点3: 可视化动画展示

作者通过可视化动画展示了服务器如何应对流量洪水的冲击，包括机器人和真实用户的请求，以及不同的响应类型。

关键观点4: 反击恶意爬虫的策略

作者利用gzip压缩技术反制恶意爬虫，通过返回看似正常的压缩文件，使它们在解压过程中耗尽内存，从而有效防御恶意爬虫的攻击。

关键观点5: 服务器安全措施和启发式策略

作者还介绍了一些服务器安全措施和启发式策略来识别恶意请求和垃圾信息发送者，通过黑名单IP列表和检测行为模式来有效识别并防御攻击。

正文

请到「今天看啥」查看全文

- 200 OK （是一种 HTTP 状态码 ，表示网页请求成功了，服务器已经正常返回了你要的内容） ：请求成功

- 重定向：用晃动的小圆点表示

- 404 Not Found：红点会掉出屏幕

- zip Bombs：这个后面再解释

服务器配置

随着文章爆火，尽管现场一度混乱，我那台每月只花 6 美元的小服务器却始终坚挺。它的配置非常简陋：只有 1GB 内存，跑着 Apache 2 和一个简单的 MySQL 数据库。没有云服务、没有自动扩容、也没有负载均衡器，全靠轻量化配置和合理的缓存策略“硬扛”流量洪峰。

服务器配置如下：

• 主机服务商 ：DigitalOcean（1GB 内存）

• Web 服务器 ：Apache 2

• 系统环境 ：Ubuntu + PHP

• 数据库 ：MySQL

• 月费用 ：$6

我的博客是基于一个自建框架，大部分页面内容都提前缓存到了 memcached 中。数据库只在每小时查询一次页面，大大减轻了负担。这套方案在过去几次流量高峰时也都撑住了。

来看一下这次文章爆火的时间线：

• 下午 4:43（PST）— 文章提交到 Hacker News

• 下午 4:53（PST）— 登上首页，机器人蜂拥而至

• 下午 5:17（PST）— 成为 Hacker News 第一，洪水般的访问量涌入

• 晚上 8:00（PST）— 管理员改了标题（原因不明），流量断崖式下跌

请到「今天看啥」查看全文