selenium 爬虫的数据实战-编程知识

引言

众所周知，Python 有很多的爬虫工具，例如，requests、scrapy、selenium等。但是爬虫有个最难搞的东西就是反爬虫了，使用 requests、scrapy框架爬取速度飞快，但是遇到反爬的网站就得斗智斗勇半天甚至好几天。因此，如果仅仅是一些小项目，没有必要使用其他工具，就使用 selenium 就可以了。

selenium 实战

selenium 的使用方法非常简单，需要进行一些配置，这里我使用的是谷歌浏览器，其他浏览器请自行搜索~

安装 selenium

pip install selenium

安装谷歌浏览器以及谷歌浏览器驱动

浏览器驱动是和浏览器对应的。不同的浏览器需要选择不同的浏览器驱动。

目前主流的浏览器中，谷歌 Chrome 浏览器对 Selenium自动化的支持更加成熟一些。

推荐大家使用 Chrome浏览器。

确保Chrome浏览器安装好以后，请大家打开下面的连接，访问Chrome 浏览器的驱动下载页面

注意浏览器驱动必须要和浏览器版本匹配，大版本一致就可以了。

比如，谷歌浏览器版本为 103，那么就下载 103 开头的就可以了~

省略浏览器驱动路径

下载的浏览器驱动是一个压缩包，解压之后放到一个容易找到的位置，例如 C 盘根目录

我们可以把浏览器驱动 所在目录 加入环境变量 Path ，写代码时，就可以无需指定浏览器驱动路径了，像下面这样。

wd = webdriver.Chrome()

然后可以配置一些初始化的参数，代码这里我整理好了，直接拿去用就对了，url为1688网站，已经提前搜索了商品的url地址。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver import ChromeOptions,ActionChains# 1688搜索页商品数据url
url = 'https://s.1688.com/selloffer/imall_search.htm?keywords=%C5%AE%D7%B0&n=y&netType=1%2C11%2C16&spm=a260k.22518165.search.0'# 初始化浏览器
def driver_init():# 加载配置数据profile_dir = r'--user-data-dir=C:\Users\hjl\AppData\Local\Google\Chrome\User Data'c_option = webdriver.ChromeOptions()c_option.add_experimental_option('useAutomationExtension', False)c_option.add_experimental_option('excludeSwitches', ['enable-automation'])prefs = {'profile.default_content_setting_values':{'notifications': 2},'profile.password_manager_enabled': False,'credentials_enable_service': False}c_option.add_experimental_option('prefs', prefs)# 开发者模式防止被识别出# 网址：https://blog.csdn.net/dslkfajoaijfdoj/article/details/109146051c_option.add_experimental_option('excludeSwitches', ['enable-automation'])c_option.add_argument("--disable-blink-features=AutomationControlled")# c_option.add_experimental_option('w3c', False)c_option.add_argument(profile_dir)driver = webdriver.Chrome(chrome_options=c_option)# 执行cdp命令driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""})return driver

接着，定义一个获取商品标题、价格、购买人数等参数的方法

def get_goods_info(driver):# 获取商品信息的列表goods_list =  driver.find_element(By.ID, 'sm-offer-list').find_elements(By.CLASS_NAME, 'space-offer-card-box')print('-----------------')print('开始爬取数据，数据长度为：', len(goods_list))for li in goods_list:link_div = li.find_element(By.CLASS_NAME, 'mojar-element-title').find_element(By.TAG_NAME, 'a')link = link_div.get_attribute('href')title = li.find_element(By.CLASS_NAME, 'mojar-element-title').find_element(By.CLASS_NAME, 'title').texttry:# 这个地方容易报错，所以用try，不知道为什么，有毒price_div = li.find_element(By.CLASS_NAME, 'mojar-element-price')price = price_div.find_element(By.CLASS_NAME, 'showPricec').textsale_sum = price_div.find_element(By.CLASS_NAME, 'sale').textif sale_sum == '':sale_sum = '0'except:continueprint('-----------------')print(title, price, sale_sum)

最后，使用程序入口函数启动爬虫程序~

注意，因为1688有部分商品数据是需要动态加载的，因此我们需要让爬虫程序滑动一下页面，触发数据加载之后再去爬取。

# 程序入口
if __name__ == '__main__':driver = driver_init()driver.implicitly_wait(3)  # 打开链接获取商品信息driver.get(url)# 睡眠1秒，等待浏览器加载完毕time.sleep(2)# 循环爬取40页数据for i in range(40):print(f'-----------------第{i+1}页-----------------')# 等待浏览器加载完毕driver.implicitly_wait(7)# 获取当前窗口句柄original_window = driver.current_window_handle# 获取下一页的按钮next_btn = driver.find_element(By.CLASS_NAME, 'fui-next')time.sleep(1)# 慢慢向下滚动for i in range(1, 3):driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")time.sleep(1)# 再慢慢向上滚动for i in range(1, 3):driver.execute_script("window.scrollTo(0, 0);")time.sleep(1)# 滑动鼠标到页面中部ActionChains(driver).move_by_offset(0, 300).perform()time.sleep(1)# 获取商品信息get_goods_info(driver)# 点击下一页try:next_btn.click()except:break

如果你对Python感兴趣，想要学习python，这里给大家分享一份Python全套学习资料，都是我自己学习时整理的，希望可以帮到你，一起加油！

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓