【Python/crawl】如何使用Python爬虫将一系列网页上的同类图片下载到本地

【需求】

从网页https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html

开始,有十七页,每页都有大漂亮“小濑田麻由”的若干图片,想要将其下载到本地。

如果手工一张张右键另存为比较麻烦,想用程序自动下载下来。

【思路】

17张网页地址都是连续的,可以用基准网址+页码的形式拼出每个网页。

得到具体每页的网址后,可发起网络请求得到其html内容,再用BeautifulSoup去解析,把包含图片的img标签拿下来,从标签的src属性获取图片的真实地址。

有了图片的真实地址后,就可以发起网络请求获得相应,然后把相应内容存成二进制文件。

流程图

【代码】

#encoding=utf-8# 内置网络访问包
import requests# 内置的urllib.request模块
import urllib.request# 解析html的BeautifulSoup包,安装方法是pip install BeautifulSoup4
from bs4 import BeautifulSoup# 引入正则表达式包
import re# 把请求伪装成浏览器Mozilla
user_agent='Mozilla/4.0 (compatible;MEIE 5.5;windows NT)'
headers={'User-Agent':user_agent}# 以下两个变量需要手工修改
# 去除了页码的基准地址,这个地址需要自己拷贝粘贴过来
page_raw_url="https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/"
# 共有多少页,注意17不是死值,是需要自己看究竟有多少页然后修改的
page_count=17# 准备一个列表,用以放入文件名和地址组成的字典
jpglist=[]# 循环组合每页具体地址
for i in range(page_count):# 以粗地址和序号,重新组合每页的地址url=page_raw_url+str(i+1)# 发起请求获取其html内容html=requests.get(url,headers=headers)# 使用BeautifulSoup解析html文本soup= BeautifulSoup(html.text,'html.parser');jpg_count=0;# 查找html文本中img标签,指定其class是aligncenter,这个规律需要自己看网页源码探究出来!for img in soup.find_all('img',class_="aligncenter"):# 获取img的实际地址addr=img.get("src")# 使用正则表达式劈分文本parts = re.split(r'[/]', addr)# 最后一项即文件名filename=parts[-1]# 因为此法获取的文件名有两种:png和jpg,png是不需要的,故过滤掉if filename.endswith(".jpg"):# 准备字典,字典中包含地址和文件名两项dic={}dic['address']=addrdic['filename']=filename# 把字典放入列表jpglist.append(dic)jpg_count=jpg_count+1# 打印每页发现多少图片print("找到"+str(jpg_count)+"张靓照于网址:"+url)# 用len函数取得jpglist列表的总个数,打印出来
print("共找到"+str(len(jpglist))+"张靓照.")# 遍历列表,其中每一项是个字典
sn=0
for dic in jpglist:#print(dic['filename']+"_"+dic['address'])with urllib.request.urlopen(dic['address']) as response:data=response.read()filename=dic['filename']# write binary filesn=sn+1with open(filename,'wb') as f:f.write(data)print(str(sn)+"."+filename+" 已下载到本地.")print("全部靓照下载完成!")

【运行情况】

C:\hy\py>python 05-findallpic.py
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/1
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/2
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/3
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/4
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/5
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/6
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/7
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/8
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/9
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/10
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/11
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/12
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/13
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/14
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/15
找到6张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/16
找到4张靓照于网址:https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html/17
共找到100张靓照.
1.p1682-0628-89533.jpg 已下载到本地.
2.p1682-0628-89534.jpg 已下载到本地.
3.p1682-0628-89535.jpg 已下载到本地.
4.p1682-0629-89536.jpg 已下载到本地.
5.p1682-0629-89537.jpg 已下载到本地.
6.p1682-0629-89538.jpg 已下载到本地.
7.p1682-0629-89539.jpg 已下载到本地.
8.p1682-0630-89540.jpg 已下载到本地.
9.p1682-0630-89541.jpg 已下载到本地.
10.p1682-0631-89542.jpg 已下载到本地.
11.p1682-0631-89543.jpg 已下载到本地.
12.p1682-0631-89544.jpg 已下载到本地.
13.p1682-0631-89545.jpg 已下载到本地.
14.p1682-0631-89546.jpg 已下载到本地.
15.p1682-0631-89547.jpg 已下载到本地.
16.p1682-0632-89548.jpg 已下载到本地.
17.p1682-0632-89549.jpg 已下载到本地.
18.p1682-0632-89550.jpg 已下载到本地.
19.p1682-0632-89551.jpg 已下载到本地.
20.p1682-0632-89552.jpg 已下载到本地.
21.p1682-0633-89553.jpg 已下载到本地.
22.p1682-0633-89554.jpg 已下载到本地.
23.p1682-0633-89555.jpg 已下载到本地.
24.p1682-0633-89556.jpg 已下载到本地.
25.p1682-0633-89557.jpg 已下载到本地.
26.p1682-0633-89558.jpg 已下载到本地.
27.p1682-0634-89559.jpg 已下载到本地.
28.p1682-0634-89560.jpg 已下载到本地.
29.p1682-0634-89561.jpg 已下载到本地.
30.p1682-0634-89562.jpg 已下载到本地.
31.p1682-0634-89563.jpg 已下载到本地.
32.p1682-0634-89564.jpg 已下载到本地.
33.p1682-0635-89565.jpg 已下载到本地.
34.p1682-0635-89566.jpg 已下载到本地.
35.p1682-0635-89567.jpg 已下载到本地.
36.p1682-0635-89568.jpg 已下载到本地.
37.p1682-0636-89569.jpg 已下载到本地.
38.p1682-0636-89570.jpg 已下载到本地.
39.p1682-0636-89571.jpg 已下载到本地.
40.p1682-0636-89572.jpg 已下载到本地.
41.p1682-0636-89573.jpg 已下载到本地.
42.p1682-0636-89574.jpg 已下载到本地.
43.p1682-0636-89575.jpg 已下载到本地.
44.p1682-0637-89576.jpg 已下载到本地.
45.p1682-0637-89577.jpg 已下载到本地.
46.p1682-0637-89578.jpg 已下载到本地.
47.p1682-0637-89579.jpg 已下载到本地.
48.p1682-0637-89580.jpg 已下载到本地.
49.p1682-0638-89581.jpg 已下载到本地.
50.p1682-0638-89582.jpg 已下载到本地.
51.p1682-0638-89583.jpg 已下载到本地.
52.p1682-0638-89584.jpg 已下载到本地.
53.p1682-0639-89585.jpg 已下载到本地.
54.p1682-0639-89586.jpg 已下载到本地.
55.p1682-0639-89587.jpg 已下载到本地.
56.p1682-0639-89588.jpg 已下载到本地.
57.p1682-0639-89589.jpg 已下载到本地.
58.p1682-0639-89590.jpg 已下载到本地.
59.p1682-0640-89591.jpg 已下载到本地.
60.p1682-0640-89596.jpg 已下载到本地.
61.p1682-0640-89604.jpg 已下载到本地.
62.p1682-0640-89609.jpg 已下载到本地.
63.p1682-0641-89621.jpg 已下载到本地.
64.p1682-0641-89623.jpg 已下载到本地.
65.p1682-0641-89627.jpg 已下载到本地.
66.p1682-0642-89634.jpg 已下载到本地.
67.p1682-0642-89641.jpg 已下载到本地.
68.p1682-0642-89649.jpg 已下载到本地.
69.p1682-0643-89652.jpg 已下载到本地.
70.p1682-0643-89654.jpg 已下载到本地.
71.p1682-0643-89657.jpg 已下载到本地.
72.p1682-0643-89664.jpg 已下载到本地.
73.p1682-0643-89666.jpg 已下载到本地.
74.p1682-0643-89669.jpg 已下载到本地.
75.p1682-0644-89671.jpg 已下载到本地.
76.p1682-0644-89675.jpg 已下载到本地.
77.p1682-0644-89677.jpg 已下载到本地.
78.p1682-0644-89679.jpg 已下载到本地.
79.p1682-0645-89680.jpg 已下载到本地.
80.p1682-0645-89682.jpg 已下载到本地.
81.p1682-0645-89683.jpg 已下载到本地.
82.p1682-0645-89684.jpg 已下载到本地.
83.p1682-0645-89685.jpg 已下载到本地.
84.p1682-0645-89687.jpg 已下载到本地.
85.p1682-0646-89689.jpg 已下载到本地.
86.p1682-0646-89691.jpg 已下载到本地.
87.p1682-0646-89692.jpg 已下载到本地.
88.p1682-0646-89694.jpg 已下载到本地.
89.p1682-0646-89696.jpg 已下载到本地.
90.p1682-0646-89698.jpg 已下载到本地.
91.p1682-0647-89701.jpg 已下载到本地.
92.p1682-0647-89703.jpg 已下载到本地.
93.p1682-0647-89705.jpg 已下载到本地.
94.p1682-0647-89706.jpg 已下载到本地.
95.p1682-0648-89707.jpg 已下载到本地.
96.p1682-0648-89709.jpg 已下载到本地.
97.p1682-0648-89710.jpg 已下载到本地.
98.p1682-0648-89711.jpg 已下载到本地.
99.p1682-0648-89712.jpg 已下载到本地.
100.p1682-0649-89713.jpg 已下载到本地.
全部靓照下载完成!

【运行结果】

检查发现,所有图片确实如愿被下载到了本地。程序如果修改基准网址和页码范围,也能用到同网站的其它人的照片上。

END

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/537534.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HIVE伪分布安装

引言 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,类似于RDBMS(关系型数据库,如MySQL、Oracle、PgSQL),并提供类SQL的查询功能。 实验准备 1.搭建好伪分布安装模式的Hadoop的虚拟机,并配置了Linux网络。(可看我前面发布的文章) 2.apache…

使用 java 发送邮件,附件展示乱码,不是展示自己定义的文件名

刚开始我写的代码是这样的 private Mail initMail(List<Map<String , String>> writeInFieldsList , List<Map<String , ?>> allFieldsList , String smallCity) throws Exception {byte[] excelBytes CustomExcelUtils.trafficSignalWarning(writeI…

《IAB视频广告标准:综合指南(2022)》之概述篇 - 我为什么要翻译介绍美国人工智能科技公司IAB 系列(2)

IAB平台&#xff0c;使命和功能 IAB成立于1996年&#xff0c;总部位于纽约市。 作为美国的人工智能科技巨头社会媒体和营销专业平台公司&#xff0c;互动广告局&#xff08;IAB- the Interactive Advertising Bureau&#xff09;自1996年成立以来&#xff0c;先后为700多家媒体…

完整的通过git命令框和windows窗口将本地文件上传到gitee远程仓库流程步骤

1.下载git 这个网站搜索git官方&#xff0c;去下载就行了 2.打开git安装后的Git Bash命令框 3.在Git Bash命令框设置一下要远程链接的gitee账号 git config --global user.name “名字”Git config --global user.email “邮箱” 4.查看一下账号设置 git config --global -…

Android14之解决报错:No module named sepolgen(一百九十二)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 优质专栏&#xff1a;多媒…

Transformer家族

在《Transformer原理》中我们介绍了&#xff0c;现在很多大模型都是基于Transformer&#xff0c;其中最出名就是GPT和BERT模型&#xff0c;在GPT和BERT模型被提出来之后&#xff0c;NLP领域也出现了基于Transformer结构的模型&#xff0c;按照模型结构基本可以分为三类&#xf…

Nuxt3: useFetch使用过程常见一种报错

一、问题描述 先看一段代码&#xff1a; <script setup> const fetchData async () > {const { data, error } await useFetch(https://api.publicapis.org/entries);const { data: data2, error: error2 } await useFetch(https://api.publicapis.org/entries);…

Socket通信Demo(Unity客户端和C#)

Socket通信基本流程 首先要启动服务器创建Socket&#xff0c;然后要绑定服务器的一个端口这样客户端通过服务器IP端口号就能连接到服务器了服务器接下来会设置监听队列&#xff0c;监听并等待要连接到它的客户端客户端在服务器启动之后也建立自己的Socket&#xff0c;然后使用…

Oracle 主从切换脚本

一、 切换前预检查 1. dg_precheck_main_v1.4.sh #!/bin/bash#********************************************************************************** # Author: Hehuyi_In # Date: 2022年06月16日 # FileName: dg_precheck_main_v1.4.sh # # For sys user, execute the sc…

【嵌入式学习】C++day0313

一、思维导图 二、习题 #include <iostream>using namespace std;class Per { private:string name;int age;float * high;float * weight; public://有参构造函数Per(string n,int a,float h,float w):name(n),age(a),high(new float (h)),weight(new float (w)){}//析…

ubuntu安装并使用Anaconda

0、说明 对应着 Python 有 2.x 版本和 3.x 版本&#xff0c;Anaconda 也有 Anaconda2 以及 Anaconda 3 两个版本&#xff0c;考虑其流行度&#xff0c;一般谈及 Anaconda 时&#xff0c;默认为 Anaconda3。本人使用的ubuntu20.04。 1、Anaconda 简介 Anaconda 是一个用于科学…

可视化搭建一个智慧零售订单平台

前言 智慧零售行业是在数字化浪潮中快速发展的一个领域&#xff0c;它利用先进的信息技术和大数据分析来提升零售业务的效率和顾客体验。智慧零售订单平台&#xff0c;具有跨平台、数据智能清洗和建模&#xff0c;以及更加丰富的数据展示形式等优势。智慧零售订单平台可以以文…