网站变慢，不一定是访问的人多了，有时候，是“访问的东西”多了。这个情况一般出现在网站运维阶段：客户发来消息问，“最近网站打开好像变慢了，是不是访问量上来了，要升级服务器？”
第一反应很自然——慢了，就加配置，就像路堵了，就把路修宽一点。但我们在动手之前，习惯先看一眼服务器的访问日志。这一看，问题就有点意思了：日志里真正的访客并没有多多少，多出来的是一堆 AI 爬虫。GPTBot、ClaudeBot、Bytespider，还有一堆叫不上名字的，一天 24 小时不知疲倦地抓页面。
这事放在两年前基本不存在。以前的爬虫主要是搜索引擎，抓得有节制，也认 robots 协议。现在的 AI 爬虫不一样，为了喂模型恨不得把全站翻个底朝天，有的还不认 robots.txt，换个 IP 继续抓。于是出现了一个很拧巴的局面：网站是给人看的，服务器一半的力气，却花在了应付“不是人”的访问上。
客户真正要解决的并不是“服务器不够大”，而是“别让这些爬虫拖慢正常访客的体验”。这两件事，花钱的方向完全不同。
所以在派迪科技的项目里，我们一般会先做三件事，再谈要不要升级服务器。第一是分流：给 AI 爬虫单独限速、限频，人的请求永远优先，就像早高峰的公交专用道，再堵也不能堵了真正赶路的人。第二是拦掉“不讲规矩”的：认 robots 协议的好说，伪装成普通浏览器、换个 IP 硬抓的，直接拦在外面。第三是缓存：爬虫反复抓的往往是那些不常变的页面，提前把静态结果准备好，它要，给它就是了，不用每次都劳烦数据库现算一遍。
这三件事做完，不少客户发现服务器不用升级了，网站又快了。回头看这个问题，客户一开始要的是“更大的服务器”，而真正被解决的是先分清到底是谁在消耗服务器。这也是我们做杭州网站建设时经常跟客户说的一句话：服务器不是越大越好，而是越“分得清”越好。分得清人和爬虫，分得清轻重缓急，钱才花在刀刃上。
