爬虫怎么加代理？代码示例支持Python、Java

爬虫怎么加代理？这事儿其实不难

很多做数据抓取的朋友都会遇到IP被封的问题，网站反爬机制越来越厉害，单用一个IP去爬，很容易就被识别出来。这时候就需要给爬虫加上代理，让请求通过不同的IP发出去，这样就不容易被封了。

加代理说白了就是让你的网络请求先经过一个中间服务器转发，这个服务器有自己的IP地址，目标网站看到的是代理服务器的IP，而不是你本机的真实IP。这种方式对于需要大量请求的爬虫任务特别有用，尤其是需要模拟不同地区用户访问的场景。

选择代理的时候要注意，不同类型的业务适合不同的代理。比如做数据采集可能用动态住宅IP更合适，而大规模爬虫可能需要不限量代理IP支持。神龙海外动态IP代理就提供了多种方案，覆盖各种使用场景。

Python中如何配置代理

用Python写爬虫的朋友大多会用requests库，这个库加代理特别简单。你只需要在发送请求时带上proxies参数就行了，下面是个具体例子：

import requests

proxies = {
"http": "http://用户名:密码@代理服务器地址:端口",
"https": "http://用户名:密码@代理服务器地址:端口"
}

response = requests.get("目标网址", proxies=proxies)

print(response.text)

如果你用的是神龙海外动态IP代理的服务，他们会提供具体的代理服务器地址、端口和认证信息。他们的动态住宅IP质量很高，适合长时间运行的爬虫任务。

对于需要更高并发的情况，你可以考虑使用会话对象来管理连接，这样效率会更高：

session = requests.Session()
session.proxies = proxies
response = session.get("目标网址")

Java中设置代理的方法

Java环境下加代理也很直接，主要有两种方式：系统属性设置和单个请求设置。先说系统属性设置，这种方法会对所有HTTP请求生效：

System.setProperty("http.proxyHost", "代理服务器地址");
System.setProperty("http.proxyPort", "端口号");
System.setProperty("http.proxyUser", "用户名");
System.setProperty("http.proxyPassword", "密码");

设置完之后，所有通过HttpURLConnection发起的请求都会自动走代理。这种方法简单粗暴，但不够灵活。

更推荐的方式是为每个连接单独设置代理：

Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("代理服务器地址", 端口));
URL url = new URL("目标网址");
HttpURLConnection conn = (HttpURLConnection) url.openConnection(proxy);

// 如果需要认证
String auth = Base64.getEncoder().encodeToString("用户名:密码".getBytes());
conn.setRequestProperty("Proxy-Authorization", "Basic " + auth);

这种方式更灵活，可以针对不同的请求使用不同的代理IP，非常适合需要轮换IP的爬虫场景。