Python进阶--爬取下载人生格言(基于格言网的Python3爬虫)

目录

一、此处需要安装第三方库:

二、抓包分析及Python代码 

1、打开人生格言网（人生格言-人生格言大全_格言网）进行抓包分析

2、请求模块的代码

3、抓包分析人生格言界面

4、获取各种类型的人生格言链接

5、获取下一页的链接

6、获取人生格言的具体内容

7、 下载保存

 三、所有代码及具体步骤

1、具体步骤

2、所有代码如下：

3、运行结果

一、此处需要安装第三方库:

        在Pycharm平台终端或者命令提示符窗口中输入以下代码即可安装

pip install requests
pip install lxml
  •  requests模块为请求库
  • lxml库是一个HTML/XML的解析器，主要的功能是解析和提取 HTML/XML 数据

        注： 此处需要用到xPath和正则表达式的知识，关于xPath和正则表达式，此处不进行详细说明，后续我将补充一篇博客来详细介绍。

二、抓包分析及Python代码 

1、打开人生格言网（人生格言-人生格言大全_格言网）进行抓包分析

        此处下载的是文字，格言网是一个静态网页，人生格言的信息全都封装在源代码中，故此主要针对网页源代码进行分析爬取。不过首先要获取到网页内容的源代码，故此处采用requests模块的get方法即可。使用get方法，需要抓包分析获取url和user-agent即可。

  • url和user-agent的获取方法：
  1. 打开格言网中的人生格言网站
  2. 按下F12键，打开开发者界面
  3. 此时由于页面没有数据传输，属于静态页面，开发者界面也就没有任何数据传输的情况。
  4. 刷新一下，在开发者界面点击Network，选择all，点击第一个html文件信息条目，在header视图中可以找到url信息和user-agent信息

url：​

user-agent：​

2、请求模块的代码

import requests
header = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Mobile Safari/537.36'}
url = 'http://www.mouxiao.com/renshenggeyan/index.html'
response = requests.get(url, headers=header)
print(response)

3、抓包分析人生格言界面

在人生格言界面，可以看到：

  • 有多种类型的人生格言，点击其中一个即可跳转到其具体的格言内容中
  • 有下一页的选项，点击下一页则跳转到下一页的多种类型的人生格言
  • 下面还有其他栏目导航

    ​

        这里，需要下载的是所有的人生格言，即需要将人生格言栏目中的所有类型的人生格言全都下载下来。每种类型和下一页是通过跳转的方式，访问到具体内容的。而跳转是通过链接的方式进行的。故只需要抓包分析，分析出链接所在位置，获取到这些链接。即可再通过requests请求模块，访问这些链接来下载具体的人生格言内容。

  • 抓包分析：

​

        采用以上抓包方式，具体查找一下其他类型的链接所在位置。通过以上操作可以分析出链接都是藏标签<li>中的标签<a>中的href属性中且链接是以数字开头的，在此处采用xPath的方式，获取这些类型的所有的链接。

4、获取各种类型的人生格言链接

根据以上分析，获取各种类型的人生格言的链接代码如下：

import pprintimport requests
from lxml import etree
header = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Mobile Safari/537.36'}
index_url = 'http://www.mouxiao.com/renshenggeyan/index.html'
r = requests.get(index_url,headers=header)
# 由于requests模块会将获取的网页源代码进行自动编码，此处我们不需要编码。
# 故采用apparent_encoding方法，禁止requests模块自动编码。
r.encoding = r.apparent_encoding
# 采用xpath的方式定位获取链接所在位置
html = etree.HTML(r.text)
links = html.xpath('//ul[@class="readers-list"]//a/@href')
# 采用格式化打印，打印一下links内容
pprint.pprint(links)

运行结果如下（部分图）：

​

        根据上面的抓包分析，所需要的链接是以数字开头，但运行结果中却出现了大量不以数字开头的链接。这是为什么？继续抓包分析：

​

        我们发现栏目导航部分中的链接所在位置跟上面抓包分析的各种类型的人生格言的链接所在位置是一致的。所以使用xPath定位链接时，把栏目导航中的链接也定位到了，但我们不需要栏目导航中的链接。根据前面分析，可知我们需要的链接是以数字开头的。则，可以采用正则表达式，筛选出所需的链接。代码如下：

import pprint
import reimport requests
from lxml import etree
header = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Mobile Safari/537.36'}
index_url = 'http://www.mouxiao.com/renshenggeyan/index.html'
r = requests.get(index_url,headers=header)
# 由于requests模块会将获取的网页源代码进行自动编码，此处我们不需要编码。
# 故采用apparent_encoding方法，禁止requests模块自动编码。
r.encoding = r.apparent_encoding
# 采用xpath的方式定位获取链接所在位置
html = etree.HTML(r.text)
links = html.xpath('//ul[@class="readers-list"]//a/@href')
# 要匹配所有以数字开头，后面跟 '.html' 的元素，可以遍历列表
matched_links = []
for link in links:# 采用正则表达式筛选出我们所需要的链接，将其保存到matched_links中if re.findall(r'^\d+\.html', link):matched_links.append(link)
# 采用格式化打印，打印一下links内容
pprint.pprint(matched_links)

结果如下：

​

此处，成功获取到所需目录页中各种类型的人生格言的链接了。（非常开心！！！）

5、获取下一页的链接

        根据上面分析，因为点击下一页跳转的出现的界面还有其他类型的人生格言，故下一页也需要获取其链接。因为，这样就可以通过下一页，来继续获取根据上面的抓包方式，可以定位到下一页的链接所在位置。通过xPath的方式，定位获取得到。

​

 代码如下：

# 封装成一个函数，输入当前页面的url，返回下一页的url
def get_nextpage(url):#请求当前网页的源代码r = requests.get(url, headers=header)# 拒绝requests的自动编码，保留源代码r.encoding = r.apparent_encoding# 定位到下一页的url地址html = etree.HTML(r.text)next_page = html.xpath('//div[@class="maike"]//p[@class="p"]//a/@href')[3]# 因为所获取的下一页地址是相对地址，故进行补全next_page = 'http://www.mouxiao.com/renshenggeyan/'+ next_page# 如果下一页地址和当前页地址不相等，则将下一页地址返回if next_page != url:return next_page

6、获取人生格言的具体内容

        当点击进入一个类型的人生格言，我们会进入到该类型的具体人生格言内容。

对其抓包分析：

​

        据此，我们定位到了标题和具体人生格言的所在网页源代码的位置。采用xPath方式，进行定位。代码如下：

# 封装成一个函数，输入具体人生格言页的地址，获取其具体的人生格言和标题
def get_content(url):# 请求当前网页的源代码r = requests.get(url,headers=header)# 拒绝requests的自动编码，保留源代码r.encoding = r.apparent_encoding# 解析源代码提取具体格言内容和标题# 获取网页源代码html = etree.HTML(r.text)# 获取格言内容content = html.xpath('//div[@class="maike"]/p[@class="p"]/text()')# 使用 join() 方法将列表中的元素用换行符连接起来content = '\n'.join(content)# 获取标题title = html.xpath('//div[@class="maike"]/h1[@class="title_l"]/text()')[0]return title,content

7、 下载保存

        根据以上内容，已经获取到了人生格言的具体内容和标题的函数--get_content。只需要将具体人生格言页的链接输入进去，调用get_content函数，采用open方法即可进行下载保存。

        title, content = get_content(link1)with open(f'格言/{title}.txt','w',encoding='utf-8') as f:f.write('\t'+title + '\n\n')f.write(content)print(f'已下载...{title}')

 三、所有代码及具体步骤

1、具体步骤

1、获取格言页网页源代码
2、提取格言内容 
3、获取目录页网页源代码
4、解析目录页，提取链接（各种类型的人生格言链接和下一页链接）
5、下载并保存所有格言

2、所有代码如下：

import re
import requests
from lxml import etree
# 获取user-agent,用于身份识别
header = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Mobile Safari/537.36'}
# 1、获取具体格言内容和标题
# 封装成一个函数，输入具体人生格言页的地址，获取其具体的人生格言和标题
def get_content(url):# 请求当前网页的源代码r = requests.get(url,headers=header)# 拒绝requests的自动编码，保留源代码r.encoding = r.apparent_encoding# 解析源代码提取具体格言内容和标题# 获取网页源代码html = etree.HTML(r.text)# 获取格言内容content = html.xpath('//div[@class="maike"]/p[@class="p"]/text()')# 使用 join() 方法将列表中的元素用换行符连接起来content = '\n'.join(content)# 获取标题title = html.xpath('//div[@class="maike"]/h1[@class="title_l"]/text()')[0]# 返回标题和内容return title,content
# 当前页面
index_url = 'http://www.mouxiao.com/renshenggeyan/index.html'
# 2、获取各种类型的人生格言链接并下载其具体人生格言内容和标题
# 输入当前人生格言的目录页地址，获取各种类型的人生格言链接并下载其具体人生格言内容和标题
def pageupload_play(index_url):# 请求当前网页的源代码r = requests.get(index_url,headers=header)# 由于requests模块会将获取的网页源代码进行自动编码，此处我们不需要编码。# 故采用apparent_encoding方法，禁止requests模块自动编码。r.encoding = r.apparent_encoding# 采用xpath的方式定位获取链接所在位置html = etree.HTML(r.text)links = html.xpath('//ul[@class="readers-list"]//a/@href')# 要匹配所有以数字开头，后面跟 '.html' 的元素，可以遍历列表matched_links = []for link in links:# 采用正则表达式筛选出我们所需要的链接，将其保存到matched_links中if re.findall(r'^\d+\.html', link):matched_links.append(link)# 遍历每个类型人生格言的具体人生格言内容和标题，对其进行下载for link in matched_links:# link中获取的链接是相对地址，需要补全前面的地址link1 = 'http://www.mouxiao.com/renshenggeyan/'+link# 调用get_content方法下载内容和标题并保存到本地title, content = get_content(link1)with open(f'格言/{title}.txt','w',encoding='utf-8') as f:f.write('\t'+title + '\n\n')f.write(content)print(f'已下载...{title}')
# 3、获取下一页的地址
# 封装成一个函数，输入当前页面的url，返回下一页的url
def get_nextpage(url):#请求当前网页的源代码r = requests.get(url, headers=header)# 拒绝requests的自动编码，保留源代码r.encoding = r.apparent_encoding# 定位到下一页的url地址html = etree.HTML(r.text)next_page = html.xpath('//div[@class="maike"]//p[@class="p"]//a/@href')[3]# 因为所获取的下一页地址是相对地址，故进行补全next_page = 'http://www.mouxiao.com/renshenggeyan/'+ next_page# 如果下一页地址和当前页地址不相等，则将下一页地址返回if next_page != url:return next_page
# 4、将以上函数排放好顺序进行调用，下载人生格言的全部内容及标题
n = 1
while 1:print(f"正在下载第{n}页...")print("下载地址为："+index_url)pageupload_play(index_url)page = get_nextpage(index_url)index_url = pageif index_url==None:breakn+=1

3、运行结果

​

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/457898.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

[HCIE]防火墙基础配置

[HCIE]防火墙基础配置

实验目的&#xff1a;1.允许主机 ping FW的物理接口&#xff1b; 2.允许FW访问trust区域的主机&#xff1b; 3.允许trust主机访问其他所有区域。 配置步骤&#xff1a; 1.配置所有接口地址&#xff08;略&#xff09; 2.将防火墙接口加入到各自的区域 firewall zone trust …
阅读更多...
社交媒体教育：Facebook在数字时代的社交学习

社交媒体教育：Facebook在数字时代的社交学习

随着数字时代的到来&#xff0c;社交媒体已经深刻地改变了我们获取信息、进行交流的方式&#xff0c;同时也在教育领域崭露头角。作为全球最大的社交媒体平台之一&#xff0c;Facebook在数字时代发挥着越来越重要的社交学习作用。本文将深入探讨Facebook在教育领域的角色&#…
阅读更多...
正点原子--STM32通用定时器学习笔记(2)

正点原子--STM32通用定时器学习笔记(2)

1. 通用定时器输入捕获部分框图介绍 捕获/比较通道的输入部分&#xff08;通道1&#xff09; 输入通道映射CC1S[1:0]→采样频率CKD[1:0]→滤波方式IC1F[3:0]→边沿检测方式CC1P→捕获分频ICPS[1:0]→使能捕获CC1E 输入部分对相应的TIx输入信号采样&#xff0c;并产生一个滤波后…
阅读更多...
（篇十）MySQL内置函数续

（篇十）MySQL内置函数续

目录 &#x1f3c0;控制流函数 ⚽计算各个职位的年薪&#xff0c;如果是董事长按照15薪算&#xff0c;总经理13薪&#xff0c;其余都为12薪 ⚽计算所有职位提成之和 &#x1f3c0;窗口函数&#xff08;基础&#xff09; ⚽查询2019年每月支付总额和当年累计支付总额 ⚽查…
阅读更多...
【Linux取经路】探寻shell的实现原理

【Linux取经路】探寻shell的实现原理

文章目录 一、打印命令行提示符二、读取键盘输入的指令三、指令切割四、普通命令的执行五、内建指令执行5.1 cd指令5.2 export指令5.3 echo指令 六、结语 一、打印命令行提示符 const char* getusername() // 获取用户名 {return getenv("USER"); }const char* geth…
阅读更多...
npm 上传一个自己的应用(5) 删除自己发送到NPM官网的指定工具版本

npm 上传一个自己的应用(5) 删除自己发送到NPM官网的指定工具版本

上文 npm 上传一个自己的应用(4) 更新自己上传到NPM中的工具版本 并就行内容修改 我们更新了项目内容 然后更新了项目版本 那么 一些已经过时 甚至 当时上传的东西就有问题 我们又该怎么删除版本呢&#xff1f; 首先 我们还是要先登录 npm npm login然后 根据要求填写 Userna…
阅读更多...
华为豪掷770亿分红 至少将惠及14万人

华为豪掷770亿分红 至少将惠及14万人

华为技术有限公司近期发布的各项信息显示其在ICT领域的持续创新和稳健经营&#xff1a; 华为最近公布了2023年的分红方案&#xff0c;计划分红总额达770.85亿元&#xff0c;该分红将惠及14万员工&#xff0c;人均可获得约54.2万元1678910。此次分红的税后收益率是15.3%&#xf…
阅读更多...
MATLAB语音去噪系统

MATLAB语音去噪系统

目录 一、背景 二、GUI页面 三、程序 3.1 LMS滤波程序 3.2 GUI程序 四、附录 一、背景 本文介绍了一种最佳的自适应滤波器结构&#xff0c;该结构采用最小均方差&#xff08;LMS&#xff09;作为判据&#xff0c;通过不断迭代自适应结构来调整得到最佳滤波器…
阅读更多...
Gartner 2024年十大战略技术趋势解读

Gartner 2024年十大战略技术趋势解读

最近Gartner发布了2024年十大战略技术趋势报告&#xff0c;这十大技术趋势中有七项是关于AI技术及其技术应用相关。下面我们做一个简单解读。 首先&#xff0c;报告中着重强调了AI信任、风险和安全管理的重要性。企业需要对AI应用实施信任、风险和安全管理&#xff0c;以提高决…
阅读更多...
leetcode9. 回文数|详细深入讲解算法

leetcode9. 回文数|详细深入讲解算法

前往题目有 反转一半数字 思路 映入脑海的第一个想法是将数字转换为字符串&#xff0c;并检查字符串是否为回文。但是&#xff0c;这需要额外的非常量空间来创建问题描述中所不允许的字符串。 第二个想法是将数字本身反转&#xff0c;然后将反转后的数字与原始数字进行比较&…
阅读更多...
使用npm包js-web-screen-shot做网页截图，可以对截图加文字，箭头等等，类似于微信截图

使用npm包js-web-screen-shot做网页截图，可以对截图加文字，箭头等等，类似于微信截图

<template><div class"m-feedback-wrap" :style"{ top: ${feedbackHeight}px }"><div class"m-feedback-icon-wrap"><el-tooltipclass"item"effect"dark"content"内容"placement"left-…
阅读更多...
springboot Feign方式注入注解详解

springboot Feign方式注入注解详解

一、FeignClient注解详解 FeignClient是Spring Cloud中用于声明Feign客户端的注解&#xff0c;它使得编写HTTP客户端变得更简单。通过Feign的自动化配置机制&#xff0c;可以很容易地编写HTTP API客户端。以下是FeignClient的详解&#xff1a; 作用&#xff1a;FeignClient注解…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023