当您使用分布式爬虫或称为多进程爬虫时，由于目标网站的限制，您可以使用代理IP。
要使用代理IP，首先，我们需要找一个稳定、高度隐蔽的私人代理IP供应商，爬虫必须使用私人代理，普通代理，开放代理是不行的。
如何最大限度地利用资源，最合理地使用代理？IP要掌握数据，下面的文章可以提供一些想法
一般大家都会有以下几种实现方式：
推荐:【方案一】采用优益云短效优质代理商，拥有企业级稳定高隐藏、高速代理IP高质量的出口池，是爬虫的最佳选择。
大概使用的逻辑如下：
优亦云代理IP提供安全、稳定、高隐蔽的海量IP，支持一键提取和调用，并设置白名单。同时，它支持每个请求的随机性IP，或者多个IP。
推荐:【方案二】先导入数据库，从数据库中取出IP，大概逻辑如下：
step1:在数据库中建立一个表，编写一个导入脚本，每分钟要求6次API，把IP列表导入数据库(界面返回实时可用，优益云代理将实时检测，筛选出有效期超过3分钟的代理IP）。
step2:每10秒要求一次，不少于10秒，也不高于10秒。你知道为什么吗？不到10秒就不能提取IP，提示提取太快；如果提取时间超过10秒，则提取时间将减少IP数量。当然，如果程序没有得到很好的控制，也可以超过10秒。
step3：将导入时间记录在数据库中，IP，Port，过期时间，目前使用的进程有多少？IPIP可用状态等字段；
step4:写一个抓取脚本，从数据库中读取可用的抓取脚本IP，每个过程从数据库中获得一个IP，获得可用的状态，使用较少的过程IP，当然，每个可以控制每个进程只使用一个IP，不符合条件的IP，则循环Sleep1秒等待新的IP出现。
step5:执行抓取，判断结果，处理cookie等等，只要有验证码或失败就放弃这个IP(在数据库中标记为不可用或直接删除)，重新更改IP。
