『python爬虫』ip代理池使用协采云账密模式（保姆级图文）-编程知识

『python爬虫』ip代理池使用协采云账密模式（保姆级图文）

实现效果

在官网原版demo基础上小改了一下,修正了接口错误(把2023改成2024就可以了),原版demo只能测试单个ip,我这里批量测试所有(大家也别测试太狠,浪费人家服务资源)
在这里插入图片描述

实现思路

跟客服沟通后得到测试账号.

拿到proxyAPI 链接

#API链接   后台获取链接地址
proxyAPI = "http://beichencsdn.user.xiecaiyun.com/api/proxies?action=getJSON&key=NP2FE94B34&count=4&word=浙江&rand=true&norepeat=false&detail=true&ltime=&idshow=true"
proxyusernm = "xxxxx"        #代理帐号
proxypasswd = "xxxxx"        #代理密码
url='https://2024.ip138.com/'
#测试ip 接口(注意2024.2.27 官网下载的demo中 这里的接口错误的,我已经把他原本的2023改成2024了,当时测试的时候卡了我半天还以为是接口的问题测了半天```)

根据客服说明,账密模式可以比白名单模式快30%,大部分的ip代理池都是支持api这种的,所以这里也不研究白名单了.我们拿到的r里面就是一个json数组,包含了ip信息.

r = requests.get(proxyAPI)

ip信息组装后得到ip代理url

            # 组装得到单个ip url# 单个ip的格式 http://用户名:密码@ip地址:端口proxy_url = "http://" + proxyusernm + ":" + proxypasswd + "@" + p["ip"] + ":" + "%d" % p["port"]

测试响应时间

            try:t1 = time.time()#计时开始# 使用ip代理 访问目标的ip检测网站接口response = requests.get(url, proxies={'http': proxy_url, 'https': proxy_url}, headers={"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8","Accept-Encoding": "gzip, deflate","Accept-Language": "zh-CN,zh;q=0.9","Cache-Control": "max-age=0","User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"})t2 = time.time()#计时结束print(f"成功使用代理 {proxy_url} 访问网站，时间差: {t2 - t1}")print(response.text)#访问网页返回的源码except Exception as e:print(f"使用代理 {proxy_url} 访问网站出错：{e}")

代码示例

批量获取ip并测试可用性

import requests
import json
import time#API链接   后台获取链接地址
proxyAPI = "http://beichencsdn.user.xiecaiyun.com/api/proxies?action=getJSON&key=NP2FE94B34&count=4&word=浙江&rand=true&norepeat=false&detail=true&ltime=&idshow=true"
proxyusernm = "XXXXXXXX"        #代理帐号
proxypasswd = "XXXXXXXX"        #代理密码
url='https://2024.ip138.com/'      #测试ip 接口(注意2024.2.27 官网下载的demo中 这里的接口错误的,我已经把他原本的2023改成2024了,当时测试的时候卡了我半天还以为是接口的问题测了半天```)#获取代理 IP 地址列表
r = requests.get(proxyAPI)
if r.status_code == 200:proxy_list = json.loads(r.text).get("result", [])if proxy_list:for p in proxy_list:# 组装得到单个ip url# 单个ip的格式 http://用户名:密码@ip地址:端口proxy_url = "http://" + proxyusernm + ":" + proxypasswd + "@" + p["ip"] + ":" + "%d" % p["port"]try:t1 = time.time()#计时开始# 使用ip代理 访问目标的ip检测网站接口response = requests.get(url, proxies={'http': proxy_url, 'https': proxy_url}, headers={"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8","Accept-Encoding": "gzip, deflate","Accept-Language": "zh-CN,zh;q=0.9","Cache-Control": "max-age=0","User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"})t2 = time.time()#计时结束print(f"成功使用代理 {proxy_url} 访问网站，时间差: {t2 - t1}")print(response.text)#访问网页返回的源码except Exception as e:print(f"使用代理 {proxy_url} 访问网站出错：{e}")else:print('获取0个代理IP')
else:print('获取代理失败')

测试单个ip(你已经知道ip和端口)同时注意ip时效性,过一会会失效.


import requests
import timeurl='https://2024.ip138.com/'
proxyaddr = "xxxxxxxxxx"    #代理IP地址
proxyport = xxxxxx               #代理IP端口
proxyusernm = "xxxxxxxxx"        #代理帐号
proxypasswd = "xxxxxxxxxx"        #代理密码
#name = input();
proxyurl="http://"+proxyusernm+":"+proxypasswd+"@"+proxyaddr+":"+"%d"%proxyportt1 = time.time()
r = requests.get(url,proxies={'http':proxyurl,'https':proxyurl},headers={"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8","Accept-Encoding":"gzip, deflate","Accept-Language":"zh-CN,zh;q=0.9","Cache-Control":"max-age=0","User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"})
r.encoding='gb2312't2 = time.time()print(r.text)
print("时间差:" , (t2 - t1));