简单爬虫项目练习

爬虫项目练习

  • 前言
  • 任务
  • 基本爬虫框架
  • URL管理器
  • Html 下载器
  • HTML 解析器
  • 数据存储器
  • 爬虫调度器
  • 效果分析

前言

自学，参考书籍为 Python爬虫开发与项目实战 ，具体参考了该书的第六章。过程中出现两个问题：

  • 在 Pycharm 上实现时发现有些库名更改及合并
  • 爬取的网站增加了反爬机制

代码的框架与原书是一模一样的，若该文章有幸被原作者所浏览且认为这算抄袭，请联系我。

以下代码会具体标出与原书不同的地方（以 #！！！！！！！！！！！ 标注）以及记录自己的想法

任务

爬取数条（自己定）百度百科爬虫词条以及相关词条的标题、摘要和链接信息

基本爬虫框架

这里参考原书

URL管理器

  • 这一部分代码同原书
class URLManager(object):def __init__(self):self.new_urls = set()self.old_urls = set()def has_new_url(self):return self.new_url_size() != 0def get_new_url(self):new_url = self.new_urls.pop()self.old_urls.add(new_url)return new_urldef add_new_url(self, url):if url is None:returnif url not in self.new_urls and url not in self.old_urls:self.new_urls.add(url)def add_new_urls(self, urls):if urls is None or len(urls) == 0:returnfor url in urls:self.add_new_url(url)def new_url_size(self):return len(self.new_urls)def old_url_size(self):return len(self.old_urls)
  • 使用set数据结构：利用set去重功能，防止链接被重复爬取
  • 若将来需求变大，需要存储的 url 增多，应该链接数据库保存
  • 提出问题：获得新的 url 的顺序是否合理？如何获得与原词条相关性更强的 url 呢？

最终的运行文件所用到的代码如下：

import pickle
import hashlibclass _URLManager(object):def __init__(self):self.new_urls = self.load_process('new_urls.txt')self.old_urls = self.load_process('old_urls.txt')def has_new_url(self):return self.new_url_size() != 0def get_new_url(self):new_url = self.new_urls.pop()m = hashlib.md5()#！！！！！！！！！！！m.update(new_url.encode(encoding='utf-8'))self.old_urls.add(m.hexdigest()[8:-8])return new_urldef add_new_url(self, url):if url is None:returnm = hashlib.md5()#！！！！！！！！！！！m.update(url.encode(encoding='utf-8'))url_md5 = m.hexdigest()[8:-8]if url not in self.new_urls and url_md5 not in self.old_urls:self.new_urls.add(url)def add_new_urls(self, urls):if urls is None or len(urls) == 0:returnfor url in urls:self.add_new_url(url)def new_url_size(self):return len(self.new_urls)def old_url_size(self):return len(self.old_urls)def save_process(self, path, data):with open(path, 'wb') as f:pickle.dump(data, f)def load_process(self, path):print('[+] 从文件加载进度: %s' % path)try:with open(path, 'rb') as f:tmp = pickle.load(f)return tmpexcept:print('[!] 无进度文件，创建: %s' % path)return set()

Html 下载器

# coding: utf-8
import requests
import random
import timeclass HtmlDownloader(object):#！！！！！！！！！！！@staticmethoddef download(url):if url is None:return Noneproxies = {}#！！！！！！！！！！！user_agents = [# Opera"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60","Opera/8.0 (Windows NT 5.1; U; en)","Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50",# Firefox"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0","Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",# Safari"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",# chrome"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36","Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11","Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",# 360"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36","Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko",# 淘宝浏览器"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",# 猎豹浏览器"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER","Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",# QQ浏览器"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E) ",# sogou浏览器"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)",# maxthon浏览器"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36",# UC浏览器"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36","Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36","Mozilla/5.0 (iPhone; CPU iPhone OS 13_3_1 like Mac OS X; zh-CN) AppleWebKit/537.51.1 (KHTML, like Gecko) Mobile/17D50 UCBrowser/12.8.2.1268 Mobile AliApp(TUnionSDK/0.1.20.3)","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36","Mozilla/5.0 (Linux; Android 8.1.0; OPPO R11t Build/OPM1.171019.011; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/76.0.3809.89 Mobile Safari/537.36 T7/11.19 SP-engine/2.15.0 baiduboxapp/11.19.5.10 (Baidu; P1 8.1.0)","Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36","Mozilla/5.0 (iPhone; CPU iPhone OS 13_3_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 SP-engine/2.14.0 main%2F1.0 baiduboxapp/11.18.0.16 (Baidu; P2 13.3.1) NABar/0.0 ","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36","Mozilla/5.0 (iPhone; CPU iPhone OS 12_4_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.10(0x17000a21) NetType/4G Language/zh_CN","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36"]#！！！！！！！！！！！user_agent = random.choice(user_agents)headers = {'User-Agent': user_agent}#！！！！！！！！！！！time.sleep(random.randint(0, 5) * 0.05 + random.randint(4, 20) * 0.01)# r = requests.get(url, headers=headers, proxies=proxies)r = requests.get(url, headers=headers)if r.status_code == 200:r.encoding = 'utf-8'return r.textelse:print("DownLoad Failed")return None
  • 由于百度百科的反爬比作者写书时稍有变化，对代码进行改进使得顺利爬虫
  • 改进1：随机选择 user_agent 进行访问，随机选择使用 random.choice 函数。该 user_agents 引用自 https://blog.csdn.net/a_123_4/article/details/119718509
  • 改进2：采用随机延迟时间，实践证明，这一点十分有效
  • 后续： 可以使用不同 Ip 代理

HTML 解析器

import re
#！！！！！！！！！！！
from urllib import parse
from bs4 import BeautifulSoupclass HtmlParser(object):def parser(self, page_url, html_cont):if page_url is None or html_cont is None:returnsoup = BeautifulSoup(html_cont, 'html.parser')new_urls = self._get_new_urls(page_url, soup)new_data = self._get_new_data(page_url, soup)return new_urls, new_datadef _get_new_urls(self, page_url, soup):new_urls = set()#！！！！！！！！！！！pattern_one = re.compile(r'/item/.+?/\d+')pattern_two = re.compile(r'/item/.+?(?=")')# class="para MARK_MODULE"# links = soup.find_all('div', class_='para MARK_MODULE').find_all('a', href=re.compile(r'/item/.+/\d+'))#！！！！！！！！！！！links = soup.find_all('div', class_="para MARK_MODULE")#！！！！！！！！！！！if len(links):print("Crawl Successful")if len(links) > 10:links = links[:10]else:print("Crawl Failed")#！！！！！！！！！！！for link in links:tmp = re.search(pattern_one, str(link))if tmp:new_full_url = parse.urljoin(page_url, tmp.group())new_urls.add(new_full_url)else:tmp = re.search(pattern_two, str(link))if tmp:new_full_url = parse.urljoin(page_url, tmp.group())new_urls.add(new_full_url)return new_urlsdef _get_new_data(self, page_url, soup):data = dict()data['url'] = page_url#！！！！！！！！！！！# <dd class="lemmaWgt-lemmaTitle-title J-lemma-title" data-pid="0">title = soup.find('dd', class_='lemmaWgt-lemmaTitle-title J-lemma-title').find('h1')data['title'] = title.get_text()print(data['title'])#！！！！！！！！！！！summary = soup.find('div', class_='lemma-summary J-summary')data['summary'] = summary.get_text()return data
  • 这一部分是修改最多的一部分，基本重写了 _get_new_urls 函数
  • 一方面来自于百度百科的 html 与之前有所不同，另一方面来自于有选择性地找链接（正文的链接）

数据存储器

import codecs
import timeclass DataOutput(object):def __init__(self):self.datas = []def store_data(self, data):if data is None:print("Data Exception")returnself.datas.append(data)# print(self.datas)def output_html(self):fileout = codecs.open('baike.html', 'w', encoding='utf-8')fileout.write("<html>")fileout.write("<body>")fileout.write("<table>")for data in self.datas:fileout.write("<tr>")fileout.write("<td>%s</td>" % data['url'])fileout.write("<td>%s</td>" % data['title'])fileout.write("<td>%s</td>" % data['summary'])fileout.write("</tr>")#！！！！！！！！！！！fileout.write("</html>")fileout.write("</body>")fileout.write("</table>")fileout.close()
  • 注意！ 删除原书中 self.datas.remove(data) 语句，这是个很致命的错误，会导致最终爬取到的信息是预期的一半。在遍历过程中删除遍历对象的元素是极其不明智的！

爬虫调度器

from DataOutput import DataOutput
from HtmlDownloader import HtmlDownloader
from HtmlParser import HtmlParser
from URLManager import URLManager, _URLManagerclass SpiderMan(object):def __init__(self):#！！！！！！！！！！！self.manager = _URLManager()self.downloader = HtmlDownloader()self.parser = HtmlParser()self.output = DataOutput()#！！！！！！！！！！！self.correct = []def crawl(self, root_url):self.manager.add_new_url(root_url)while self.manager.has_new_url() and self.manager.old_url_size() < 300:try:new_url = self.manager.get_new_url()print("当前解析的是%s" % new_url)html = self.downloader.download(new_url)new_urls, data = self.parser.parser(new_url, html)self.manager.add_new_urls(new_urls)self.output.store_data(data)#！！！！！！！！！！！print("已经抓取%s个链接" % self.manager.old_url_size())print("成功抓取%s个链接" % len(self.output.datas))except Exception as e:print("crawl failed")print(e.args)finally:#！！！！！！！！！！！if self.manager.old_url_size() != 0:self.correct.append(len(self.output.datas) / self.manager.old_url_size())self.output.output_html()#！！！！！！！！！！！with open('ana.txt', 'w') as f:f.write(str(self.correct))f.close()# Press the green button in the gutter to run the script.
if __name__ == '__main__':spider_man = SpiderMan()spider_man.crawl("https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB?fromModule=lemma_search-box")
  • 存储 ana.txt 便于我们事后分析爬虫效果

效果分析

利用 ana.txt 中的数据，选择作者较为熟悉的R分析

ana <- read.csv("D:/PycharmProjects/Basic_crawl/ana.txt", header=FALSE)
ana[1] = 1.0
ana[300] = 0.76
Data = cbind(times = c(1:300), rate = as.numeric(ana))
ggplot(data = as.data.frame(Data), mapping = aes(times, rate)) + geom_point(size = 1) + geom_hline(yintercept  = mean(Data[,2]))

在这里插入图片描述

Data2 = as.data.frame(Data[50:300,])
ggplot(data = as.data.frame(Data2), mapping = aes(times, rate)) + geom_point(size = 1) + geom_hline(yintercept  = mean(Data2[,2]))

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/19510.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

自定义程序包不存在的解决方法

自定义程序包不存在的解决方法

方案一&#xff1a; 在pom文件中加入以下代码 <plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-surefire-plugin</artifactId><version>2.4.2</version><configuration><skipTests>true</sk…
阅读更多...
java并发编程原理-----线程

java并发编程原理-----线程

目录 上下文切换 java代码创建线程的两种方式 线程的五个状态 线程join方法 多线程之间的影响 上下文切换 CPU的每一个核心同一时刻只能执行一个线程&#xff0c;但是我们会发现电脑同一时刻现实会进行几千个线程&#xff0c;这就是cpu在快速的切换执行线程&#xff0c;由…
阅读更多...
最早做「行业化」安全托管MSS的厂商，现在怎么样了？

最早做「行业化」安全托管MSS的厂商，现在怎么样了？

科技云报道原创。 1家三甲医院&#xff0c;4个院区&#xff0c;9万台终端&#xff0c;数千台服务器&#xff0c;只配备1个安全运营人员&#xff0c;换做任何一家企事业单位都不敢想象&#xff0c;但武汉某医院却实现了7*24小时的自动化监测响应&#xff0c;所有威胁均可在1小时…
阅读更多...
基础篇--初识STM32

基础篇--初识STM32

初识STM32 STM32是什么 ST&#xff1a;意法半导体 M&#xff1a;MCU/MPU32:32位 ST累计推出了&#xff1a;5大类、18个系列、1000多个型号的Cortex内核微控制器 STM32芯片分类 ST中文社区网&#xff1a;https://www.stmcu.org.cn/ ST官网&#xff1a;https://www.st.com …
阅读更多...
【从零开始学习CSS | 第一篇】选择器介绍

【从零开始学习CSS | 第一篇】选择器介绍

目录 前言&#xff1a; 选择器介绍&#xff1a; 各类选择器&#xff1a; 总结&#xff1a; 前言&#xff1a; 本文以及后续几篇文章我们将会集中介绍CSS中的常见选择器&#xff0c;选择器的出现可以让我们实现对具体的元素标签进行定制&#xff0c;因此我们要掌握好各类选择…
阅读更多...
python+unittest+requests+HTMLRunner搭建接口测试框架，执行用例请求多个不同请求方式的接口

python+unittest+requests+HTMLRunner搭建接口测试框架，执行用例请求多个不同请求方式的接口

问题描述&#xff1a; 搭建接口测试框架&#xff0c;执行用例请求多个不同请求方式的接口 实现步骤&#xff1a; ① 创建配置文件config.ini&#xff0c;写入部分公用参数&#xff0c;如接口的基本url、测试报告文件路径、测试数据文件路径等配置项 1 [DATABASE] 2 data_addre…
阅读更多...
蚂蚁集团开源可信隐私计算框架「隐语」：开放、通用

蚂蚁集团开源可信隐私计算框架「隐语」：开放、通用

7 月 4 日，蚂蚁集团宣布面向全球开发者正式开源可信隐私计算框架 “隐语”。 隐语是蚂蚁集团历时 6 年自主研发，以安全、开放为核心设计理念打造的可信隐私计算技术框架，涵盖了当前几乎所有主流隐私计算技术。 据介绍，隐语内置 MPC、TEE、同态等多种密态计算虚拟设备，提…
阅读更多...
爱尔四川眼科医院—四川大学华西联盟医院隆重揭牌

爱尔四川眼科医院—四川大学华西联盟医院隆重揭牌

为积极响应国家“健康中国”“创新发展”战略&#xff0c;全面深化“产教融合”、“校企合作”、“医工融合”&#xff0c;推动“名校名企” 双赢合作&#xff0c;提升中国眼科领域人才核心竞争力&#xff0c;继2021年9月23日四川大学与爱尔眼科战略合作签约后&#xff0c;2023…
阅读更多...
【数据结构】排序：插入排序与希尔排序详解

【数据结构】排序：插入排序与希尔排序详解

本章开始就要分享一些常用的排序方法&#xff0c;我们的日常生活中很多地方都要使用排序&#xff0c;比如电商平台可以按照你的需求进行排序&#xff0c;或者是你想了解大学的综合排名时 我们之前也学到过一些简单的排序比如冒泡排序&#xff0c;虽然他在时间复杂度上可以说是依…
阅读更多...
苹果APP安装包ipa如何安装在手机上

苹果APP安装包ipa如何安装在手机上

苹果APP的安装比安卓复杂且困难&#xff0c;很多人不知道如何将ipa文件安装到手机上。以下是几种苹果APP安装在iOS设备的方式&#xff0c;供大家参考。 一、上架App Store 这是最正规的方式。虽然审核过程复杂、时间较长&#xff0c;且审核条件较为苛刻&#xff0c;但借助第三…
阅读更多...
虚拟IP绑定公网IP访问

虚拟IP绑定公网IP访问

绑定公网 IP 我们目前的虚拟 IP&#xff0c;还不能通过公网的形式进行访问&#xff0c;我们首先&#xff0c;来使用内部的 IP 进行访问看看效果如下&#xff1a; curl 虚拟IP 如上图我访问了两次&#xff0c;第一次访问返回的是 2222 的 nginx&#xff0c;第二次访问是 1111 的…
阅读更多...
Linux——sigaction信号捕捉函数

Linux——sigaction信号捕捉函数

目录 一.sigaction () ; struct sigaction结构体的成员&#xff1a; sigaction()和signal()函数的区别&#xff1a; 二.sigaction函数的使用 sigaction函数使用案例1&#xff1a; 对该进程发送指定的信号 案例2&#xff1a;对该进程发送多个同类型的信号时&#xff1a; …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023