爬虫抓取网站-爬虫怎么攻击网站

百度等蜘蛛爬虫是如何发现而且抓取网站目录等文件？

爬虫是跟着链接抓取的 所以网站内部结构要合理精剪 减少爬虫抓取的路径

可以把a目录去掉 有利于爬虫抓取

最重要的是网站内容要好 权重高 质量好 爬虫自然来的频率也高 那收录也会好

如何应对网站反爬虫策略？如何高效地爬大量数据

一、构建合理的HTTP请求头

HTTP的请求头是在你每次向网络服务器发送请求时，传递的一组属性和配置信息。由于浏览器和Python爬虫发送的请求头不同，有可能被反爬虫检测出来。

二、设置cookie的学问

Cookie是一把双刃剑，有它不行，没它更不行。网站会通过cookie跟踪你的访问过程，如果发现你有爬虫行为会立刻中断你的访问，比如你特别快的填写表单，或者短时间内浏览大量页面。而正确地处理cookie，又可以避免很多采集问题，建议在采集网站过程中，检查一下这些网站生成的cookie，然后想想哪一个是爬虫需要处理的。

三、正常的时间访问路径

合理控制采集速度，是Python爬虫不应该破坏的规则，尽量为每个页面访问时间增加一点儿间隔，可以有效帮助你避免反爬虫。

四、使用http

对于分布式爬虫和已经遭遇反爬虫的人来说，使用http将成为你的首选。Ipidea分布地区广，可满足分布式爬虫使用需要。支持api提取，对Python爬虫来说再适合不过。

python中的爬虫如何去爬那些被设置了权限的网站？

一般的办法就是去获取这个权限

模拟登录，更换账号，更换ip

怎么反的，就怎么去绕过

多数需要花时间来分析

摸索出反爬虫的策略，采取办法对应

如何用爬虫爬取网页上的数据

用爬虫框架Scrapy， 三步

定义item类

开发spider类

开发pipeline

如果你想要更透的信息，你可以参考《疯狂python讲义》