网络爬虫眼中的网页是什么样的？我们前面学了HTTP协议，然后是访问网页的流程，然后是现在网页的样子。爬虫眼中的网页是什么样的？

 

动态IP模拟器

 

IP模拟器代理是企业级大数据抓取HTTP动态IP服务提供商，为数百家企业用户提供海量、优质的HTTP代理IP。全国已建成180多间机房，低延迟，高可用，专业稳定！欢迎免费试用。...

 

web是静态的，而爬虫是动态的，所以爬虫的基本思想是沿着网页上的链接(蜘蛛网的节点)爬取有效信息。当然，网页也是动态的(一般用PHP或ASP编写，比如用户登录界面是动态网页)，但如果一张蜘蛛网摇摇欲坠，蜘蛛会觉得不太安全，所以动态网页的优先级一般被搜索引擎排在静态网页之后。

 

知道爬虫的基本思想，如何操作？这得从网页的基本概念说起。一个网页有三个组成部分，即html文件，css文件和JavaScript文件。如果把一个网页看成一座房子，那么html就相当于房子的外壳；Css相当于地板砖涂层，美化了房子的外部和内部；JavaScript相当于家具、电浴等。，增加了房子的功能。从上面的比喻可以看出，html是网页的基础。毕竟地砖颜料市面上也有，家具电器都可以露天摆放，房子外壳也是独一无二的。