pyspider代理: 在Pyspider爬虫框架中集成代理设置

手动改代码还是用现成方案？Pyspider代理设置三招搞定

搞爬虫最怕啥？不是数据难抓，而是刚跑起来就被封IP！今天手把手教你在Pyspider里玩转代理设置，用对了方法能让你的爬虫活得更久。神龙海外代理IP的动态轮换机制刚好能治这个毛病，咱们边实操边唠。

第一板斧：直接往请求头里塞代理

适合临时测试的场景，改两行代码就能用：

def on_start(self):
    self.crawl('目标网址', 
               callback=self.parse_page,
               headers={'Proxy-Authorization': 'Basic 你的密钥',
                        'Proxy': 'http://gateway.shenlongip.com:端口'})

神龙海外代理的即插即用型API特别适合这种用法，记得把密钥和端口换成自己账号的。不过这个方法得每个请求都手动加，适合小规模爬取。

第二板斧：全局代理配置大法

想一劳永逸？改Pyspider的底层配置更省事：

找到项目根目录的config.json文件

加上这几行配置：

"network": {
    "proxy": "http://用户名:密码@gateway.shenlongip.com:端口",
    "retry_delay": 60
}

重启爬虫服务生效

神龙代理的多协议兼容性在这儿派上用场了，http/https/socks5随便切。注意密码要是带特殊符号记得做URL编码。

第三板斧：智能切换代理池

对付反爬厉害的网站，得用高级玩法：

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        proxy = random.choice(代理池)
        request.meta['proxy'] = f"http://{proxy['ip']}:{proxy['port']}"
        request.headers['Proxy-Authorization'] = basic_auth_header('账号', '密码')

神龙代理的百万级IP资源池配合这个方案，自动换IP防封杀。建议把代理池维护成独立模块，定时从API获取最新IP列表。

踩坑指南：三个常见翻车现场

症状	诊断	药方
连不上代理服务器	防火墙阻拦/白名单未加	检查神龙后台的IP授权列表
突然大量请求失败	目标网站反爬升级	调低并发数+启用神龙代理的自动切换
代理响应速度变慢	网络链路波动	切换神龙代理的备用接入点