Python爬虫获取百度的图片

一. 爬虫的方式:

主要有2种方式:

①Scrapy+Xpath  (API 静态 爬取-直接post get) 

②selenium+Xpath (点击 动态 爬取-模拟) 

Scrapy+Xpath  

XPath 是 Scrapy 中常用的一种解析器,可以帮助爬虫定位和提取 HTML 或 XML 文档中的数据。

Scrapy 中使用 XPath 的方式和普通的 Python 程序基本一致。我们需要首先导入 scrapy 的 Selector 类和 scrapy 的 Request 类,然后使用 Selector 类来解析 Response 对象,并使用 XPath 表达式来定位和提取数据。

详细讲解可以参考:Scrapy爬虫学习笔记之二(Xpath的用法) - 知乎

selenium+Xpath

Selenium 是为了解决 requests 无法直接执行 JavaScript 代码的问题。本质是通过驱动浏览器,完全模拟浏览器的操作,输入、点击、下拉等。

安装:pip install selenium

使用需要下载浏览器驱动,并且驱动要跟浏览器版本对应

chrome浏览器版本在114之前

浏览器版本在114之前,可以进入以下网址http://chromedriver.storage.googleapis.com/index.html,直接下载相应的文件

chrome浏览器版本在115以上

以下版本皆为chromedriver版本

例如:version : 119.0.6045.21,你电脑的浏览器版本为其他版本,如118.0.5952.2,只需要把链接中的版本号替换成这个编号即可

平台下载地址
linux64http:// https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/119.0.6045.21/linux64/chromedriver-linux64.zip
mac-arm64https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/119.0.6045.21/mac-arm64/chromedriver-mac-arm64.zip
mac-x64https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/119.0.6045.21/mac-x64/chromedriver-mac-x64.zip
win32https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/119.0.6045.21/win32/chromedriver-win32.zip
win64https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/119.0.6045.21/win64/chromedriver-win64.zip

Chromedriver 插件安装教程

参考:稳扎稳打学爬虫09—chromedriver下载与安装方法-CSDN博客

下面简单使用模拟百度搜索:

import timefrom selenium import webdriverbro = webdriver.Chrome(executable_path='./chromedriver.exe')  # 得到一个谷歌浏览器对象,并指定使用那个驱动bro.implicitly_wait(5)  # 隐士等待:找一个控件,如果控件没有加载出来,就等待5S,只需要写着一句,以后所有控件都按照这个操作来bro.get('https://www.baidu.com')  # 在地址栏里输入百度input_k = bro.find_element_by_id('kw')  # 找到百度输入框对应的控件input_k.send_keys('火灾火焰')  # 框里面输入pythonsou = bro.find_element_by_id('su')  # 找到搜索按钮sou.click()  # 点击搜索按钮time.sleep(3)bro.close()  # 关闭浏览器

selenium详细用法参考:https://www.cnblogs.com/XiaoYang-sir/p/15173174.html

二. selenium+xpath

利用selenium获取元素定位方法,爬取百度图片

通过定位获取完整爬取图片的超链接信息,鼠标放置百度页面右键=》检测

完整爬取代码

'''注释:@author is leilei百度图片爬虫,采用selenium模拟鼠标点击形式1. 将要搜索的文本表示成list2. 打开百度图片官网,输入文本,搜索3. 逐条下载对应的图片
注:本代码支持断点续爬!
'''import os
import uuid
import time
import random
import urllib
import urllib.request
from selenium import webdriver
from selenium.webdriver.common.keys import Keys  # 键盘类#爬取的种类图片
NameList=['火灾火焰', '火灾烟雾']def send_param_to_baidu(name, browser):''':param name:    str:param browser: webdriver.Chrome 实际应该是全局变量的:return:        将要输入的 关键字 输入百度图片'''# 采用id进行xpath选择,id一般唯一inputs = browser.find_element_by_xpath('//input[@id="kw"]')inputs.clear()inputs.send_keys(name)time.sleep(1)inputs.send_keys(Keys.ENTER)time.sleep(1)return'''
写Python爬虫的时候,没过多久Python就会报错,然后停止采集。总是没办法从头到尾把数据采集下来。
每一下次报错我都要去找原因,比如我要采集的标签里面没有URL,URL为空就会报错,
或者页面没有URL也会报错。于是我是用try…except语句跳过错误,但是还是会遇到其他问题,
就是try…except语句只能跳过一次错误,第二次错误就会失效。所以采用了下面这种mistaken方法处理异常。
'''
def mistaken():try:print('*****出现异常错误,跳过此次循环,爬取无内容*****')######采集代码##########print('——————————接下来继续运行——————————')except:mistaken()def download_baidu_images(save_path, img_num, browser):''' 此函数应在:param save_path: 下载路径 str:param img_num:   下载图片数量 int:param name:   爬取种类的名字:param browser:   webdriver.Chrome:return:'''if not os.path.exists(save_path):os.makedirs(save_path)##下面是打开第一张图片,然后在此界面中点击左右切换图片# // *[ @ id = "imgid"]/div[1]/ul/li[1]/div/div[2]/a/img#如果这里报错,其中下面这里的定位地址,需要根据百度你爬取的图片的位置进行相应的修改img_link = browser.find_element_by_xpath(' //*[@id = "imgid"]/div[1]/ul/li[1]/div/div[2]/a/img')img_link.click()# 切换窗口windows = browser.window_handlesbrowser.switch_to.window(windows[-1])  #切换到图像界面# time.sleep(3)time.sleep(random.random())for i in range(img_num):img_link_ = browser.find_element_by_xpath('//div/img[@class="currentImg"]')src_link = img_link_.get_attribute('src')print(src_link)# 保存图片,使用urlibimg_name = uuid.uuid4()# urllib.request.urlretrieve(src_link, os.path.join(save_path, str(img_name) + '.jpg'))# 上述一行代码直接去访问资源会报403错误,排查发现可能是服务器开启了反爬虫,针对这种情况添加headers浏览器头,模拟人工访问网站行为:opener = urllib.request.build_opener()# 构建请求头列表每次随机选择一个ua_list = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:102.0) Gecko/20100101 Firefox/102.0','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.114 Safari/537.36 Edg/103.0.1264.62','Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36 SE 2.X MetaSr 1.0']opener.addheaders = [('User-Agent', random.choice(ua_list))]urllib.request.install_opener(opener)#为了不中断程序完整爬取,所以处理爬虫的过程中出现资源请求不到的错误404 或者403的错误,只需要跳过这些错误继续执行try:urllib.request.urlretrieve(src_link, os.path.join(save_path, str(img_name) + '.jpg'))except Exception as e:print(e)mistaken()# 如果网站反爬虫级别特别高的,还需要切换代理ip:使用urllib模块设置代理IP是比较简单的,首先需要创建ProxyHandler对象,其参数为字典类型的代理IP,键名为协议类型(如HTTP或者HTTPS),值为代理链接。然后利用ProxyHandler对象与buildopener()# 方法构建一个新的opener对象,最后再发送网络请求即可。# 创建代理IP# proxy_handler = urllib.request.ProxyHandler({#     'https': '58.220.95.114:10053'# })# # 创建opener对象# opener = urllib.request.build_opener(proxy_handler)# 关闭图像界面,并切换到外观界面time.sleep(random.random())# 点击下一张图片browser.find_element_by_xpath('//span[@class="img-next"]').click()time.sleep(random.random())# 关闭当前窗口,并选择之前的窗口browser.close()browser.switch_to.window(windows[0])returndef main(names, save_root, img_num=[1000, ], continue_num=0, is_open_chrome=True):''':param names: list str:param save_root: str:param img_num: int list or int:param continue_num: int 断点续爬开始索引,从哪一个种类继续爬取:param is_open_chrome: 爬虫是否打开浏览器爬取图像 bool default=False:return:'''options = webdriver.ChromeOptions()# 设置是否打开浏览器if not is_open_chrome:options.add_argument('--headless')  # 不打开浏览器# else:#     prefs = {"profile.managed_default_content_settings.images": 2}  # 禁止图像加载#     options.add_experimental_option("prefs", prefs)# 欺骗反爬虫,浏览器可以打开,但是没有内容options.add_argument("--disable-blink-features=AutomationControlled")browser = webdriver.Chrome(executable_path=r"D:\Anconda\envs\temp\Lib\site-packages\selenium\webdriver\chrome\chromedriver.exe",options=options)browser.maximize_window()browser.get(r'https://image.baidu.com/')time.sleep(random.random())assert type(names) == list, "names参数必须是字符串列表"assert continue_num <= len(names), "中断续爬点需要小于爬虫任务数量"if type(img_num) == int:img_num = [img_num] * len(names)print(img_num)elif type(img_num) == list:print("lsit:{}".format(img_num))else:print("None, img_num 必须是int list or int")returnfor i in range(continue_num, len(names)):name = names[i]save_path = os.path.join(save_root, str(names.index(name)))  # 以索引作为文件夹名称send_param_to_baidu(name, browser)download_baidu_images(save_path=save_path, img_num=img_num[i],browser=browser)# 全部关闭browser.quit()returnif __name__ == "__main__":main(names=NameList,save_root=r'C:\Users\HUAWEI\Desktop\photo',img_num=[1000, 1000],continue_num=1)

具体selenium的动态定位法:

参考链接: https://blog.csdn.net/u012206617/article/details/132451577?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-0-132451577-blog-109838581.235^v40^pc_relevant_anti_vip&spm=1001.2101.3001.4242.1&utm_relevant_index=3

 三. Scrapy+Xpath  

 需要使用 icrawler 包   [ps:直接pip install icrawler]

完整的代码1:

import os
from icrawler.builtin import BaiduImageCrawler
from icrawler.builtin import BingImageCrawler#可以使用,使用icrawler包静态爬取图片def check_path(path):if not os.path.exists(path):os.makedirs(path)return pathdef baidu_bing_crwal(key_words=['中国人'], max_nums=[1000], save_root=r'./'):#看是否存在文件夹check_path(save_root)assert len(key_words)==len(max_nums), "关键词和数量必须一致"# 2个一起爬虫save_root1 = os.path.join(save_root, 'baidu')# 百度爬虫for i in range(len(key_words)):print('-'*20)image_save_root = os.path.join(save_root1, str(i))if not os.path.exists(image_save_root):os.makedirs(image_save_root)storage = {'root_dir': image_save_root}crawler = BaiduImageCrawler(storage=storage)crawler.crawl(key_words[i], max_num=max_nums[i])# bing爬虫save_root2 = os.path.join(save_root, 'bing')for i in range(len(key_words)):print('-'*20)image_save_root = os.path.join(save_root2, str(i))if not os.path.exists(image_save_root):os.makedirs(image_save_root)storage = {'root_dir': image_save_root}crawler = BingImageCrawler(storage=storage)crawler.crawl(key_words[i], max_num=max_nums[i])returnif __name__ == '__main__':# baidu_bing_crwal(key_words=['生活垃圾', '化学垃圾',],#                  max_nums=[1000, 1000],#                  save_root=r'C:\Users\HUAWEI\Desktop\photo\da')baidu_bing_crwal(key_words=['火灾火焰', '火灾烟雾'],max_nums=[1000, 1000],save_root=r'C:\Users\HUAWEI\Desktop\photo\da')

 其实简化的静态爬虫方式

完整的代码2:

'''底层肯定是scrapy静态报文,谷歌引擎不可以,百度最快,bing速度有点慢!直接pip install icrawler若想搜索多个关键词,可以遍历for循环;同时icrawler也可对图像链接list、txt直接遍历:UrlListCrawler
'''
from icrawler.builtin import GoogleImageCrawler
from icrawler.builtin import BaiduImageCrawler
from icrawler.builtin import BingImageCrawler# storage字典格式'root_dir': 保存路径
# crawler = BaiduImageCrawler(storage={'root_dir': r'D:\temp\dog'})
crawler = BaiduImageCrawler(storage={'root_dir': r'C:\Users\HUAWEI\Desktop\photo'})
crawler.crawl(keyword='火焰', max_num=10)

最后:爬取图片的任务完成了 ,☺☺☺

学习参考链接:python 爬虫_python爬虫断点续爬-CSDN博客

 稳扎稳打学爬虫09—chromedriver下载与安装方法-CSDN博客

爬虫selenium获取百度任意图片_img_link = browser.find_elements_by_xpath('//li/di-CSDN博客Python爬虫:爬取百度图片(selenium模拟登录,详细注释)_百度图片 爬虫 find_elements-CSDN博客

爬虫selenium获取元素定位方法总结(动态获取元素)_selenium如何定位动态元素-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/329066.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

09.简单工厂模式与工厂方法模式

道生一&#xff0c;一生二&#xff0c;二生三&#xff0c;三生万物。——《道德经》 最近小米新车亮相的消息可以说引起了不小的轰动&#xff0c;我们在感慨SU7充满土豪气息的保时捷设计的同时&#xff0c;也深深的被本土品牌的野心和干劲所鼓舞。 今天我们就接着这个背景&…

广义零样本学习综述的笔记

1 Title A Review of Generalized Zero-Shot Learning Methods&#xff08;Farhad Pourpanah; Moloud Abdar; Yuxuan Luo; Xinlei Zhou; Ran Wang; Chee Peng Lim&#xff09;【IEEE Transactions on Pattern Analysis and Machine Intelligence 2022】 2 conclusion Generali…

STM32F407ZGT6时钟源配置

1、26M外部时钟源 1、25M外部时钟源

Open3D 读写并显示PLY文件 (2)

Open3D 读写并显示PLY文件 &#xff08;2&#xff09; 一、算法介绍二、算法实现1.代码2.注意 一、算法介绍 读取PLY文件中的点云坐标&#xff0c;写出到新的文件中&#xff0c;并显示在屏幕上。 二、算法实现 1.代码 import open3d as o3dprint("读取点云") pl…

本地部署 gemini-openai-proxy,使用 Google Gemini 实现 Openai API

本地部署 gemini-openai-proxy&#xff0c;使用Google Gemini 实现 Openai API 0. 背景1. 申请 Google Gemini API key2. (Optional)Google Gemini 模型说明3. gemini-openai-proxy Github 地址4. 本地部署 gemini-openai-proxy5. 测试 0. 背景 使用 Google Gemini 实现 Opena…

嵌入式(二)单片机基础 | 单片机特点 内部结构 最小系统 电源 晶振 复位

上一篇文章我们介绍了嵌入式系统 嵌入式系统&#xff08;Embedded System&#xff09;是一种特定用途的计算机系统&#xff0c;它通常嵌入在更大的产品或系统中&#xff0c;用于控制、监测或执行特定的任务。这些系统通常由硬件和软件组成&#xff0c;旨在满足特定的需求&…

解决SlF4J配置冲突警告:【SLF4J: Class path contains multiple SLF4J providers】

1、问题背景 最近在启动Springboot的时候出现了SLF4J相关的报红警告&#xff0c;虽然是不影响程序运行&#xff0c;但是作为一个有着代码洁癖的人看的是真难受。 警告信息如下&#xff1a; SLF4J: Class path contains multiple SLF4J providers. SLF4J: Found provider [ch…

使用DBscan算法进行密度聚类分析

使用DBscan算法进行密度聚类分析 使用DBscan算法进行密度聚类分析算法原理Python实现算法特点应用案例结论 使用DBscan算法进行密度聚类分析 DBscan&#xff08;Density-Based Spatial Clustering of Applications with Noise&#xff09;是一种基于密度的聚类算法&#xff0c…

React 中条件渲染的 N 种方法

本文作者系360奇舞团前端开发工程师 条件渲染在React开发中非常重要的功能&#xff0c;它允许开发人员根据条件控制渲染的内容&#xff0c;在创建动态和交互式用户界面方面发挥着至关重要的作用&#xff0c;本文总结了常用的的条件渲染方法。 1.If-else if-else是一种控制流程的…

vue使用elementui 的 table且自定义某列表头时,添加的点击事件和自带的筛选功能有类似冒泡行为

element 自带的table 需求&#xff1a;在时间这一列的筛选按钮旁边添加一个批量修改按钮问题&#xff1a;如果不加排序这个属性&#xff0c;那么表格自带的筛选和新加的批量筛选点击事件会冲突&#xff08;冒泡事件&#xff09;解决方法&#xff1a;在该列添加sortable属性&…

关于图像分割任务中按照比例将数据集随机划分成训练集和测试集

1. 前言 之前写了分类和检测任务划分数据集的脚本&#xff0c;三大任务实现了俩&#xff0c;基于强迫症&#xff0c;也实现一下图像分割的划分脚本 分类划分数据&#xff1a;关于图像分类任务中划分数据集&#xff0c;并且生成分类类别的josn字典文件 检测划分数据&#xff…

爬虫-3-模拟登录,代理ip,json模块

#本文仅供学习使用(O&#xff40;) 如果服务器响应的数据为json数据: 那么我们可以用 res.json() 或 json模块(将json字符串转换为Python里面的字典类型) 接收数据。