百度等蜘蛛爬虫是如何发现而且抓取网站目录等文件？

爬虫是跟着链接抓取的 所以网站内部结构要合理精剪 减少爬虫抓取的路径

可以把a目录去掉 有利于爬虫抓取

最重要的是网站内容要好 权重高 质量好 爬虫自然来的频率也高 那收录也会好

如何应对网站反爬虫策略？如何高效地爬大量数据

一、构建合理的HTTP请求头