python爬虫笔记1

1 爬虫介绍

爬虫概述： 获取网页并提取和保存信息的自动化程序 1.获取网页 2.提取信息 css选择器 xpath 3.保存数据（大数据时代） 4.自动化 爬虫（资产收集，信息收集）+ 漏扫（帮我发现漏洞）= 钱src hw 逆向工程（必须）

2 urllib模块介绍

urllib 是 Python 标准库中的一个模块，用于执行 HTTP 请求操作。它包含了四个主要的子模块，每个子模块都有其特定的功能：

  • urllib.request 模块：这是最基本的 HTTP 请求模块，它提供了打开和读取 URL 的功能。使用此模块，你可以发起 GET 和 POST 请求，处理 cookies 和重定向，以及设置请求头部等。

  • urllib.error 模块：这个模块用于处理与 urllib.request 相关的异常。当你使用 urllib.request 发起请求时，如果遇到错误（如网络问题、无效的 URL 或服务器错误），该模块会抛出相应的异常，以便你能够捕获并处理这些错误。

  • urllib.parse 模块：这是一个工具模块，提供了处理 URL 的方法。你可以使用它来解析 URL，将其分解为各个组件（如协议、主机名、路径等），也可以构建新的 URL。此外，它还提供了编码和解码 URL 参数的功能。

  • urllib.robotparser 模块：这个模块用于解析 robots.txt 文件。robots.txt 文件是网站用来告诉爬虫哪些页面可以爬取，哪些页面不能爬取的。urllib.robotparser 模块提供了一个 RobotFileParser 类，用于读取和解析 robots.txt 文件，并判断一个特定的爬虫（通过其用户代理字符串）是否有权限访问某个 URL。

总结来说，urllib 是 Python 中用于执行 HTTP 请求和处理相关操作的内置库，它包含了请求、异常处理、URL 解析和机器人协议解析等功能的模块，使得开发者能够方便地进行网络请求和数据抓取。

3 第一个爬虫

新建urllib_1.py

#！/usr/bin/env python
​
import urllib.request
​
#发送一个最基本的请求
def load_baidu_data():url='http://www.baidu.com'response = urllib.request.urlopen(url)#print(response.code)data = response.read()#将data获取到的东西转换为字符串str_data = data.decode('utf-8')print(str_data)#将数据写入文件with open("baidu.html","w",encoding="utf-8") as f:f.write(str_data)​
load_baidu_data()

效果

4 get请求拼接

新建urllib_2.py

#！/usr/bin/env python
​
import urllib.request
import urllib.parse
import string
​
def load_baidu_data():url = 'http://www.baidu.com/s?wd='#url+searchname = "李四"
​final_url= url+name#网址里面包含了汉字 需要进行转码encode_url = urllib.parse.quote(final_url,safe=string.printable)print(encode_url)response = urllib.request.urlopen(encode_url)# print(response.code)data = response.read()#将data获取到的东西转换为字符串str_data = data.decode('utf-8')print(str_data)#将数据写入文件with open("baidu-lisi.html","w",encoding="utf-8") as f:f.write(str_data)load_baidu_data()  

效果

5 get请求拼接多个参数

新建urllib_3.py

#！/usr/bin/env python
​
import urllib.request
import urllib.parse
import string
​
def load_baidu_data():url = 'http://www.baidu.com/s?'params = {"wd":"猪八戒","pn":"80"}query_str = urllib.parse.urlencode(params)final_url= url+query_strprint(final_url)# encode_url = urllib.parse.quote(query_str,safe=string.printable)response = urllib.request.urlopen(final_url)# print(response.code)data = response.read()#将data获取到的东西转换为字符串str_data = data.decode('utf-8')print(str_data)#将数据写入文件with open("baidu-zhubajie-pn20.html","w",encoding="utf-8") as f:f.write(str_data)
​
load_baidu_data()

效果

6 post请求

新建urllib_post.py

#!/usr/bin/env python
​
import urllib.request
import urllib.parse
import urllib.error
​
#1.定义url
url = 'http://httpbin.org/post'
​
#创建要发送的数据表单
data = {'hello':'world','handsome':'zhubajie'
}
​
#data要进行编码
data_encode = urllib.parse.urlencode(data).encode("utf-8")
​
#加上encode（“utf-8”）->  stt-》bytes
#解码 decode("utf-8")     byte-》str
​
response = urllib.request.urlopen(url=url,data=data_encode)
​
print(response.read().decode("utf-8"))

效果

7 超时设置

#!/usr/bin/env python
​
import urllib.request
import urllib.parse
import urllib.error
​
#1.定义url
url = 'http://httpbin.org/post'
​
#创建要发送的数据表单
data = {'hello':'world','handsome':'zhubajie'
}
​
#data要进行编码
data_encode = urllib.parse.urlencode(data).encode("utf-8")
​
#加上encode（“utf-8”）->  stt-》bytes
#解码 decode("utf-8")     byte-》str
​
try:response = urllib.request.urlopen(url=url,data=data_encode,timeout=0.1)print(response.read().decode("utf-8"))
except urllib.error.URLError as e:print("连接超时！")

效果

8 自定义user-agent

自定义User-Agent是一种灵活调整浏览器或其他客户端在发送HTTP请求时所携带的身份标识的技术。通过修改User-Agent字符串，用户可以伪装成不同的客户端类型或操作系统，以满足特定需求，如进行兼容性测试、爬虫伪装或数据分析等。但需要注意的是，自定义User-Agent应遵守相关规定，避免滥用导致违反使用协议或法律。总之，自定义User-Agent为用户提供了更多控制和灵活性。

新建request_head.py

#!/usr/bin/env python
​
import urllib.request
import urllib.parse
import urllib.error
​
#1.定义url
url = 'http://httpbin.org/post'
​
#2自定义request  添加一个user-agent
header = {"User-Agent":"Mozilla/5.0 (Linux; U; Android 11; zh-CN; 2112123AC Build/RKQ1.200826.002) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/100.0.4896.58 Quark/6.2.2.246 Mobile Safari/537.36"
}
​
req = urllib.request.Request(url=url,headers=header,method='POST')
response = urllib.request.urlopen(req)
print(response.read().decode("utf-8"))

效果

9 小项目-随机user-agent

新建randm_useragent.py

#!/usr/bin/env python
​
import urllib.request
import urllib.parse
import urllib.error
import random
​
def user_agent():url = 'http://httpbin.org/post'#搞一堆user-agentuser_agent_list = ["Mozilla/5.0 (Linux; Android 12; ELS-AN00 Build/HUAWEIELS-AN00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/107.0.5304.141 Mobile Safari/537.36 XWEB/5075 MMWEBSDK/20230504 MMWEBID/9308 MicroMessenger/8.0.37.2380(0x2800253D) WeChat/arm64 Weixin NetType/5G Language/zh_CN ABI/arm64 MiniProgramEnv/android","Mozilla/5.0 (iPhone; CPU iPhone OS............ile/15E148 MicroMessenger/8.0.34(0x18002234) NetType/4G Language/zh_CN","Mozilla/5.0 (Windows; U; Windows NT 5.1; hu; rv:1.8.0.11) Gecko/20070312 Firefox/1.5.0.1120","Mozilla/5.0 (Macintosh; Int............ecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.67","Mozilla/5.0 (X1............7.6) Gecko/20050318 Firefox/1.0.2","Mozilla/5.0 (Windows; U; Win............o) Chrome/100.0.4896.58 Safari/537.36 UCBrowser/15.4.8.1238"]#每次取一个user-agentrandom_user_agent = random.choice(user_agent_list)header = {"User-Agent":random_user_agent}
​req = urllib.request.Request(url=url,headers=header,method='POST')response = urllib.request.urlopen(req)print(response.read().decode("utf-8"))
​
user_agent()    

效果

10自定义构建opener

新建handler_open.py

#!/usr/bin/env python
​
import urllib.request
import urllib.parse
import urllib.error
​
def handler_open():url = 'http://httpbin.org/get'#创建自己的openerhandler = urllib.request.HTTPHandler()opener = urllib.request.build_opener(handler)response = opener.open(url)print(response.read().decode("utf-8"))handler_open()    

效果

11 配置代理

免费代理

新建proxy_handler.py

#!/usr/bin/env python
​
import urllib.request
import urllib.parse
import urllib.error
​
def handler_open():try:url = 'http://httpbin.org/get'#添加代理 代理的ip 端口proxy = {"http":"http://115.207.183.169:18784"}#创建代理处理器proxy_handler = urllib.request.ProxyHandler(proxy)#创建自己的openeropener = urllib.request.build_opener(proxy_handler)response = opener.open(url)print(response.read().decode("utf-8"))except urllib.error.URLError as e:print("error: ",e)    handler_open()    

效果

12 小项目-随机ip代理

新建random_ip.py

#!/usr/bin/env python
​
import urllib.request
import urllib.parse
import urllib.error
import random
​
def proxy_ip():url = 'https://www.kuaidaili.com/testproxy'#搞一堆ipip_list = ["http://183.161.45.66:17114","http://119.41.198.172:18350","http://27.191.60.244:15982","http://27.215.237.221:20983",]#每次取一个ipproxy = random.choice(ip_list)# header = {#     "User-Agent":random_user_agent# }print(proxy)try:#     url = 'http://httpbin.org/get'# #添加代理 代理的ip 端口#     proxy = {#         "http":"http://115.207.183.169:18784"#     }#创建代理处理器proxy_handler = urllib.request.ProxyHandler({'http':proxy,'https':proxy})#创建自己的openeropener = urllib.request.build_opener(proxy_handler)response = opener.open(url)print(response.read().decode("utf-8"))except urllib.error.URLError as e:print("error: ",e)    
​
proxy_ip()  

13 授权认证

新建authpassword.py

#！/usr/bin/env python
​
import urllib.request
​
from urllib.parse import urlparse
​
def auth_login():url = 'https://ssr3.scrape.center/'#指定用户名and密码username = 'admin'password = 'admin'#创建一个密码管理器password_mgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()#添加进目标url，用户名 密码password_mgr.add_password(None,url,username,password)#创建一个基本密码认证处理器并将密码管理器传递给他handler = urllib.request.HTTPBasicAuthHandler(password_mgr)#创建网络请求的构造器opener = urllib.request.build_opener(handler)response = opener.open(url)# response = urllib.request.urlopen(url)print(response.read().decode('utf-8'))auth_login()    

效果

14 cookie认证流程

新建Cookie1.py

#！/usr/bin/env python
​
import urllib.request
​
from urllib.parse import urlparse
​
def auth_login():url = 'https://ssr3.scrape.center/'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.54','Authorization':'Basic YWRtaW46YWRtaW4='}req = urllib.request.Request(url=url,headers=headers)response = urllib.request.urlopen(req)print(response.read().decode('utf-8'))auth_login()  

效果

15 使用cookiejar读写cookie

新建Cookie2.py

#！/usr/bin/env python
​
import urllib.request
import http.cookiejar
​
​
filename = 'cookies.txt'
#定义保存cookie的文件
filename = 'cookies.txt'
cookie = http.cookiejar.LWPCookieJar(filename=filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('https://www.baidu.com')
​
cookie.save(ignore_discard=True,ignore_expires=True)
​
​
#读：
cookie = http.cookiejar.LWPCookieJar()
cookie.load(filename,ignore_discard=True,ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
print(response.read().decode('utf-8'))

效果

16 小项目-使用cookie登录网页

新建Cookie3.py

#！/usr/bin/env python
​
import urllib.request
import http.cookiejar
import urllib.parse
​
#1.用账号密码登录网站
​
# #登录的url
url = 'https://www.yaozh.com/login'
#登录的参数
login_data = {"type":"0","username":"ppkke007","pwd":"Iceropq13315","pc_vcode":"","country":"86_zh-CN","mobile":"","vcode":"","pincode":"","formhash":"CEA7846B38","backurl":"https%253A%252F%252Fwww.yaozh.com%252F"
}
#发送登录请求
cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.54',
}
# #转码
login_str = urllib.parse.urlencode(login_data).encode('utf-8')
​
req = urllib.request.Request(url=url,headers=headers,data=login_str)
#如果登录成功 cookjar会自动保存cookie
opener.open(req)
​
#2.代码带着cookie去访问
login_url = "https://www.yaozh.com/member/"
req2 = urllib.request.Request(login_url,headers=headers)
# response = opener.open(login_url)
response = urllib.request.urlopen(login_url)
# print(response.read().decode('utf-8'))
data = response.read()
with open('cookie2.html',"wb") as f:f.write(data)

效果

17 异常处理

新建urlerror.py

#！/usr/bin/env python
​
import urllib.request
from urllib.error import *
import socket
​
try:url = 'https://www.baidu.com'response = urllib.request.urlopen(url=url,timeout=0.01)
except URLError as e:print(e.reason)if isinstance(e.reason,socket.timeout):print("Time out!!")
​
# except URLError as e:
#     print(e.reason)    

效果

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/636699.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

mac电脑mysql下载与安装

mac电脑mysql下载与安装

mysql下载地址 历史下载地址 MySQL :: Download MySQL Community Server (Archived Versions) mac 版下载 mac版本分为 Intel 处理器 和 M系列处理器。 从 8.0.26开始， mysql 支持M系列处理器。 以前的都只有Intel 处理器的。 Intel 处理器选择 x86_64 M 系列处理…
阅读更多...
C++信奥教学PPT：CSP_J_算法之倍增算法

C++信奥教学PPT：CSP_J_算法之倍增算法

公众号：编程驿站
阅读更多...
【PCL】教程conditional_euclidean_clustering 对输入的点云数据进行条件欧式聚类分析...

【PCL】教程conditional_euclidean_clustering 对输入的点云数据进行条件欧式聚类分析...

[done, 3349.09 ms : 19553780 points] Available dimensions: x y z intensity 源点云 Statues_4.pcd 不同条件函数output.pcd 【按5切换到强度通道可视化】 终端输出： Loading... >> Done: 1200.46 ms, 19553780 points Downsampling... >> Done: 411…
阅读更多...
色彩的魔力：渐变色在设计中的无限可能性

色彩的魔力：渐变色在设计中的无限可能性

夕阳，天空，湖面，夕阳...随着距离和光影的变化，颜色的渐变色，近大远小、近实远虚的透视，为大自然营造了浪漫的氛围。延伸到UI/UX设计领域，这种现实、惊艳、独特的渐变色也深受众多设计师的喜爱。…
阅读更多...
nodejs大文件上传

nodejs大文件上传

安装依赖 1.express 帮我们启动服务&#xff0c;并且提供接口 2.multer 读取文件&#xff0c;存储 3.cors 解决跨域 项目的目录结构&#xff1a; 前端代码&#xff1a; <input type"file" /><script>const file document.queryselector(input)// 分隔…
阅读更多...
Git merge的版本冲突实验

Git merge的版本冲突实验

实验目的 发现 两个分支的 相同文件 怎样被修改 才会发生冲突&#xff1f; 实验过程 1.初始状态 现在目前有1.py、2.py两个文件&#xff0c;已经被git管理。现在我想制造冲突&#xff0c;看怎样的修改会发生冲突&#xff0c;先看怎么不会发生冲突。 目前仓库里的版本是这样…
阅读更多...
数字陷波器的设计

数字陷波器的设计

数字陷波器的设计 陷波器&#xff1a;一种特殊的带阻滤波器&#xff0c;其阻带在理想情况下只有一个频率点&#xff0c;主要用于消除某个特定频率的干扰。 例子 设计一个数字陷波器将输入信号中的50Hz工频干扰信号滤除&#xff0c;尽可能保留其他频率成分&#xff0c;设系统…
阅读更多...
SpringMVC深解--一起学习吧之架构

SpringMVC深解--一起学习吧之架构

SpringMVC的工作原理主要基于请求驱动&#xff0c;它采用了前端控制器模式来进行设计。以下是SpringMVC工作原理的详细解释&#xff1a; 请求接收与分发&#xff1a; 当用户发送一个请求到Web服务器时&#xff0c;这个请求首先会被SpringMVC的前端控制器&#xff08;Dispatche…
阅读更多...
09 MySQL--操作真题

09 MySQL--操作真题

1. 用一条 SQL 语句&#xff0c;查询出每门课程都大于 80 分的人。 分析&#xff1a; 去重查询出存在课程小于 80 分的人&#xff0c;设为集合A查询不在集合 A 中的人 # 第一步&#xff1a;找小于等于80分的学员姓名 select distinct name from t_student where fenshu <…
阅读更多...
Docker - 安装

Docker - 安装

原文地址&#xff0c;使用效果更佳&#xff01; Docker - 安装 | CoderMast编程桅杆https://www.codermast.com/dev-tools/docker/docker-install.html MacOS安装 1.使用 Homebrew 安装 brew install docker安装成功 如果你的电脑没有安装Docker&#xff0c;则会自动进行安…
阅读更多...
Redis入门到通关之数据结构解析-RedisObject

Redis入门到通关之数据结构解析-RedisObject

文章目录 ☃️概述☃️源码 ☃️概述 RedisObject 是 Redis 中表示数据对象的结构体&#xff0c;它是 Redis 数据库中的基本数据类型的抽象。在 Redis 中&#xff0c;所有的数据都被存储为 RedisObject 类型的对象。 RedisObject 结构体定义如下&#xff08;简化版本&#xf…
阅读更多...
【已解决】win10系统 Docker 提示Docker Engine stopped解决全过程记录

【已解决】win10系统 Docker 提示Docker Engine stopped解决全过程记录

【已解决】win10系统 Docker 提示Docker Engine stopped解决全过程记录 一、检查服务是否开启 找到 【Docker Desktop Service】&#xff0c;然后&#xff0c;启动他&#xff1b; 你也可以直接设置为“自动” 找到服务&#xff0c;右键》属性》启动类型&#xff1a;自动》点击…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023