为了分析网络爬虫的分类，通常会使用以下几种类型的爬虫：

分布式爬虫：Nutch

JAVA爬虫：Crawler4j、WebMagic、WebCollector

非JAVA爬虫：scrapy（基于Python语言开发）

我们知道，很多线上任务都需要代理IP的支持，比如线上投票、补充结果、线上购物订单、知名品牌监测、市场需求分析等。没有代理lP的支持，工作真的很难开展。那么代理lp是从哪里来的呢，以下是获得lP代理支持以联机工作的一些方法我看看。

首先，收集免费的代理IP。

互联网上有很多免费的代理IP，这个IP是免费的，虽然费率太低，但对于一些低成本预算的从业者来说，为了省钱而放弃自己的时间是可以承受的，如何收集大量的免费IP。手动复制肯定不行，速度太低了。方式有：使用代理IP专用工具吸收免费代理IP，批量认证有效，一键导出代理IP，非常方便。

第三方专用工具。

互联网上有很多集成的专用工具，也有很多代理IP，可以一键切换IP。虽然速度很低，但很多人都在用，而且速度很快。它勉强能够完成一些手动操作或者单线程挂机操作，也没有办法支持一些多线程的任务。

购买代理IP。

与免费代理IP相比，互联网上很多付费代理IP的速度会高很多。比如IP模拟器游戏助手短打优质代理IP、单手专用代理IP、专属IP池等，效率高、稳定性好、速度快，极大的支持在线工作，有需要的朋友可以根据自己的需求进行选择。

以上是使代理IP支持在线工作的一些方法，朋友们也可以根据自己的需要获得代理IP。当然还有其他的办法，这必须由朋友们自己来考虑，没有最好的方法，只有最适合您企业的方法。