简易爬虫中转代理

当我们在使用爬虫时对一个网站进行多次爬取爬虫可能会被封禁，一般是针对IP进行封锁，所以如果我们切换IP就可以正常爬取了，于是我们就会用到代理池，目前代理池一个是免费的，但质量普遍较差，还有一个是付费的，费用普遍较高，超过我们的需求最经济实惠的方法就是用机场的节点，配合Glider将其做为代理池使用。本项目主要介绍glider的作为代理池的使用，并没有参与glider项目的开发，如遇到glider的问题请到glider开发者下提issue 本文仅探讨分享技术供大家学习，不提供节点获取途径。