爬虫网站分析 - 百里求一的博客

分类的难处在于网站的多样性，所谓多样性包括：

认证机制多样性网站登录流程复杂，信息量大，页面跳转次数较多，有时伴随验证码填写(很常见)
信息查找多样性有些网站不是你很容易就能差找到结果，比如 Siemens，你需要用关键字搜索才能过滤掉无用信息，得到想要结果。而，有些网站根本就没有下载的地方，你需要用他们的网站内站搜索才能搜索得到
网站结构多样性过去的网站大多是静态的，而现在却很难再找到了。动态性网站不直接在源码上显示内容，而是动态生成的，只有运行到了那一步，网站才会生成显示。这样就造成了阅读网站源码的困难。还有就是现在的网站有些采用的是异步加载模式，你根本找不到链接地址在哪，必须做出点击，选中等动作后它才会给你显示链接地址。如果有些网站采用的是websocket模式，那就更加困难了。
目标链接的标识不一我们查找下载链接大都通过链接的标识，比如特定标签(table,a,button)，id号，class属性，name属性，type类型等。这些东西每个网站基本都是不一样的，所以这才是造成爬虫难以分类的根本原因
网站反爬虫机制有些网站不想让你爬，因为爬虫会给网站的服务器增加负担。他们采用ip间隔锁定的方式，如果一个ip在一段时间内访问次数操作某个值，则禁止该ip访问。还有通过流量监控，如果该ip在某时间内下载数据大小操作某限定值，则禁止该ip

工控厂家９个，其中Panasonic,Abb有其他备选链接，GE则为备选网站相机和显示器有６个厂家交换机和路由器有17厂家，其中有９家备选

如果强制要分类，可以粗略的划分为三类

http://drivers.softpedia.com/get/FIRMWARE 这个网站是一个固件厂商搜索综合网站，有大多数的固件厂商比如:

SamSung：http://drivers.softpedia.com/get/FIRMWARE/Samsung/

Cisco：http://drivers.softpedia.com/get/FIRMWARE/Cisco/

http://drivers.softpedia.com/get/Router-Switch-Access-Point/Linksys/

Nikon：http://drivers.softpedia.com/get/FIRMWARE/Nikon/ http://drivers.softpedia.com/get/FIRMWARE/Panasonic/ （备选）

Philips：http://drivers.softpedia.com/get/FIRMWARE/Philips/

Sony：http://drivers.softpedia.com/get/FIRMWARE/Sony/

Hitachi：http://drivers.softpedia.com/get/FIRMWARE/Hitachi/

Toshiba：http://drivers.softpedia.com/get/FIRMWARE/Toshiba/

http://drivers.softpedia.com/get/Router-Switch-Access-Point/Buffalo/ （备选）

NetGear：http://drivers.softpedia.com/get/Router-Switch-Access-Point/NETGEAR/

ASUS：http://drivers.softpedia.com/get/Router-Switch-Access-Point/ASUS/

http://drivers.softpedia.com/get/FIRMWARE/D-Link/ （备选）

Tenda：http://drivers.softpedia.com/get/FIRMWARE/Tenda/

２. ftp性质的网站 D-Link：ftp://ftp2.dlink.com/PRODUCTS/ Draytek：ftp://ftp.draytek.com/ 本来我以为Hikvision可以划分到ftp里面，但我发现他们除了结构相识外，其他方面并不相同。就像我们所想那样，获取页面所有链接，那么ftp只有两种链接，那就是进入下一页和返回上一页，但是Hikvision并不是，它还有其他的链接。加上其他链接的话，就不容易判断返回上一页的链接的具体是哪一个，当然这只是我初步判断。