python如何获取免费代理ip(爬虫使用代理IP抓取）

　　现在互联网针对爬虫有很多反爬措施，最常见的就是封禁ip地址。其中爬虫访问过于频繁直接封ip地址也作为一种“伤敌一千，自损八百”的方法被许多网站采用，代理ip便可以防止这种情况出现。

　　首先，我们搜索一下免费代理ip的网站。这里以西刺免费代理，选取了透明代理进行爬取。

　　直接上代码：

　　上面的代码就可以有效性的查询到代理IP网站，然后获取IP保障使用。我们可以将获取的ip存放在json文件中，json模块的使用也很简单，直接打开一个文件，使用dump方法写入文件即可。

　　我们也可以将其存入数据库方便调用，这里以MongoDB为例：

　　以上就是python如何获取免费代理ip(爬虫使用代理IP抓取）的全部内容，如果需要多线程，导入threading包，将Thread封装一下即可。更多精彩资讯尽在众星微信公众号。